[논문 리뷰] Detailed Dense Inference with Convolutional Neural Networks via Discrete Wavelet Transform

Lingni Ma, Jörg Stückler외 2명|arXiv (Cornell University)|2018. 08. 06.

Advanced Neural Network Applications참고 문헌 22인용 수 8

한 줄 요약

이 논문은 도메인 특화 밀도 높은 픽셀 단위 예측을 위한 새로운 CNN 아키텍처인 WCNN를 제안한다. 이는 기존의 전통적인 unpooling을 인코더에서 캐시된 고주파 성분을 사용한 역 이산 웨이블릿 변환(iDWT)으로 대체한다. DWT/iDWT를 인코더-디코더 프레임워크에 통합하고, 두 가지 웨이블릿 피라미드 변형(LFP 및 FFC)을 도입함으로써, Cityscapes 데이터셋에서 정확도와 계산 효율성이 향상된 최신 기술 수준(SOTA) 성능을 달성한다. 이는 19개 클래스의 세분화 작업에서 기준 모델보다 최대 1.2 mIoU 향상되고, FRRN보다 1.9 mIoU 향상된 결과를 보였다.

ABSTRACT

Dense pixelwise prediction such as semantic segmentation is an up-to-date challenge for deep convolutional neural networks (CNNs). Many state-of-the-art approaches either tackle the loss of high-resolution information due to pooling in the encoder stage, or use dilated convolutions or high-resolution lanes to maintain detailed feature maps and predictions. Motivated by the structural analogy between multi-resolution wavelet analysis and the pooling/unpooling layers of CNNs, we introduce discrete wavelet transform (DWT) into the CNN encoder-decoder architecture and propose WCNN. The high-frequency wavelet coefficients are computed at encoder, which are later used at the decoder to unpooled jointly with coarse-resolution feature maps through the inverse DWT. The DWT/iDWT is further used to develop two wavelet pyramids to capture the global context, where the multi-resolution DWT is applied to successively reduce the spatial resolution and increase the receptive field. Experiment with the Cityscape dataset, the proposed WCNNs are computationally efficient and yield improvements the accuracy for high-resolution dense pixelwise prediction.

연구 동기 및 목표

• 인코더에서의 풀링 연산으로 인해 발생하는 고해상도 공간적 세부 정보 손실 문제를 해결하기 위해.
• 웨이블릿 기반 특징 재구성으로 세밀한 구조적 정보를 유지함으로써, 예를 들어 세분화 작업과 같은 밀도 높은 픽셀 단위 예측 정확도를 향상시키기 위해.
• 웨이블릿 분해와 CNN 풀링/업풀링 간의 구조적 유사성을 활용하여, 학습 가능한 매개변수 없이도 unpooling을 수행하는 메커니즘을 개발하기 위해.
• 전역적 맥락을 다중 해상도 DWT/iDWT를 활용해 포착하는 웨이블릿 피라미드 변형(LFP 및 FFC)을 도입하여 기능 표현을 향상시키기 위해.
• 웨이블릿 기반 unpooling과 피라미드가 표준 CNN 및 최신 기술 수준의 방법보다 일관된 성능 향상을 이끌어내는지, 기준 데이터셋에서 입증하기 위해.

제안 방법

• 인코더에서 이산 웨이블릿 변환(DWT)을 통해 고주파 성분을 캐시하고, 디코더에서 이들의 역 이산 웨이블릿 변환(iDWT)을 사용하여 굵은 특징 맵과 병합함으로써 웨이블릿 업풀링을 도입한다.
• iDWT를 사용해 학습 가능한 매개변수 없이 고해상도 특징 맵을 동시에 재구성함으로써 원본 입력의 공간적 세부 정보를 유지한다.
• 저주파 전파(LFP)와 전체 주파수 조합(FFC)이라는 두 가지 웨이블릿 피라미드 아키텍처를 제안하며, 둘 다 다중 해상도 DWT를 사용해 전역 맥락을 추출한다.
• 다중 스케일 DWT/iDWT를 여러 단계에 걸쳐 적용하여 공간 해상도를 점진적으로 감소시키고 수용 영역을 증가시킴으로써 계층적 특징 학습을 모방한다.
• DWT가 풀링을, iDWT가 업풀링을 대체하는 대칭적인 인코더-디코더 구조를 사용하여, 웨이블릿 다중 해상도 분석과의 구조적 일致성을 유지한다.
• 표준 backpropagation를 사용해 엔드 투 엔드로 훈련하며, 학습 가능한 매개변수 외에 추가적인 계산 오버헤드 없이 웨이블릿 계수 저장만을 요구한다.

실험 결과

연구 질문

• RQ1 이산 웨이블릿 변환은 밀도 높은 예측 작업에서 기존의 전통적인 업풀링 레이어를 효과적으로 대체할 수 있는가?
• RQ2 iDWT를 사용한 웨이블릿 기반 업풀링은 표준 전치 합성곱이나 메모리 기반 업풀링에 비해 고해상도 특징 맵과 픽셀 단위 예측의 품질을 향상시키는가?
• RQ3 웨이블릿 피라미드 변형(LFP 및 FFC) 간의 전역 맥락 포착 능력과 세분화 정확도 향상 정도는 어떻게 비교되는가?
• RQ4 웨이블릿 기반 업풀링과 피라미드가 더 낮은 계산 비용으로도 Cityscapes와 같은 밀도 높은 예측 기준 데이터셋에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 다중 스케일 추론과 테스트 시 데이터 증강이 웨이블릿 강화 CNN의 성능에 미치는 영향은 무엇인가?

주요 결과

• WCNN-FFC-MS는 Cityscapes 19개 클래스 테스트 세트에서 평균 교차율(mIoU) 75.2를 기록하여 기준 모델 FFC-MS보다 1.2 mIoU 높고, FRRN보다 1.9 mIoU 높다.
• 웨이블릿 업풀링과 FFC 피라미드의 조합이 가장 큰 성능 향상을 보였으며, 다중 스케일 테스트 시 증강을 사용할 경우 기준 모델 대비 mIoU가 6.0 포인트 향상되었다.
• WCNN 변종은 질적 비교를 통해 울타리, 기둥, 신호등과 같은 세밀한 구조에서의 세분화 정확도 향상이 뚜렷하게 나타났다.
• 제안된 웨이블릿 업풀링 메커니즘은 매개변수 없이 웨이블릿 계수 캐시를 위한 메모리 오버헤드 외에 추가 비용이 없어 계산적으로 효율적이다.
• 모든 지표에서 FFC 피라미드가 LFP 피라미드를 앞서며, 전체 주파수 조합이 밀도 높은 예측에 유의미한 특징를 유지하는 데 더 효과적임을 시사한다.
• 19개 클래스 세트에서 더 높은 mIoU를 기록했음에도 불구하고, WCNN-FFC-MS는 카테고리 수준의 mIoU에서 FRRN보다 약 0.6 mIoU 낮게 나타나, 카테고리별 일반화 능력과의 상충 관계가 있음을 시사한다.