[논문 리뷰] Decoders Matter for Semantic Segmentation: Data-Dependent Decoding Enables Flexible Feature Aggregation

Zhi Tian, Tong He외 2명|arXiv (Cornell University)|2019. 03. 05.

Advanced Neural Network Applications참고 문헌 35인용 수 8

한 줄 요약

이 논문은 의미 분할 디코더에서 표준 이중선형 보간을 대체하기 위해 데이터에 의존하는 업샘플링 모듈인 DUpsampling을 제안한다. 레이블 공간의 부여 중복성을 활용함으로써, 저해상도 특징(예: 1/16 또는 1/32 해상도)으로부터 정확한 픽셀 단위 예측을 가능하게 하여, 융합 가능한 특징의 유연성과 함께 계산량을 약 80% 감소시키며, PASCAL VOC(88.1%)와 PASCAL Context(52.5%)에서 최신 기준(mIOU)을 달성한다. 이는 이전 모델의 계산량의 30%만을 사용한다.

ABSTRACT

Recent semantic segmentation methods exploit encoder-decoder architectures to produce the desired pixel-wise segmentation prediction. The last layer of the decoders is typically a bilinear upsampling procedure to recover the final pixel-wise prediction. We empirically show that this oversimple and data-independent bilinear upsampling may lead to sub-optimal results. In this work, we propose a data-dependent upsampling (DUpsampling) to replace bilinear, which takes advantages of the redundancy in the label space of semantic segmentation and is able to recover the pixel-wise prediction from low-resolution outputs of CNNs. The main advantage of the new upsampling layer lies in that with a relatively lower-resolution feature map such as $\frac{1}{16}$ or $\frac{1}{32}$ of the input size, we can achieve even better segmentation accuracy, significantly reducing computation complexity. This is made possible by 1) the new upsampling layer's much improved reconstruction capability; and more importantly 2) the DUpsampling based decoder's flexibility in leveraging almost arbitrary combinations of the CNN encoders' features. Experiments demonstrate that our proposed decoder outperforms the state-of-the-art decoder, with only $\sim$20\% of computation. Finally, without any post-processing, the framework equipped with our proposed decoder achieves new state-of-the-art performance on two datasets: 88.1\% mIOU on PASCAL VOC with 30\% computation of the previously best model; and 52.5\% mIOU on PASCAL Context.

연구 동기 및 목표

• 의미 분할 디코더에서 표준 이중선형 보간의 비효율성과 열악한 성능을 해결하기 위해.
• 고해상도 특징 복구 시 계산 복잡도를 감소시키되, 분할 정확도를 손상시키지 않기 위해.
• 융합된 저수준 특징의 해상도를 최종 예측 해상도에서 분리함으로써, 특징 융합의 설계 유연성을 확장하기 위해.
• 이전 최신 기준(SOTA) 모델의 계산량의 30%만을 사용하여 최신 기준 성능을 달성하기 위해.

제안 방법

• 레이블 공간의 중복성을 활용하여 저해상도 CNN 특징에서 고해상도 예측을 재구성하는 학습 가능한, 데이터에 의존하는 업샘플링 레이어인 DUpsampling을 도입한다.
• 표준 인코더-디코더 아키텍처의 최종 이중선형 업샘플링 레이어를 DUpsampling으로 대체하여 재구성 정확도를 향상시킨다.
• 업샘플링 이전에 최저 해상도(예: 1/16 또는 1/32)에서 특징을 융합하도록 디코더를 설계하여 공간 계산량을 감소시킨다.
• DUpsampling 모듈의 학습 안정성을 높이기 위해 훈련 중에 적응형 온도 소프트맥스를 적용한다.
• 입력 특징과 분할 레이블 패턴에 따라 동적으로 적응하는 학습 가능한 커널을 사용하여 공간 세부 정보 복구를 향상시킨다.
• 추론 시 다중 해상도 추론과 데이터 증강을 적용하여 성능을 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 데이터에 의존하는 업샘플링 방법이 의미 분할 정확도에서 표준 이중선형 보간을 능가할 수 있는가?
• RQ2 이중선형 보간을 학습 가능한, 레이블 인식 업샘플링으로 대체함으로써 계산 비용을 감소시키면서도 성능을 유지하거나 향상시킬 수 있는가?
• RQ3 융합된 특징의 해상도를 최종 예측 해상도에서 분리함으로써 더 효과적이고 융통성 있는 특징 융합이 가능해지는가?
• RQ4 DUpsampling을 갖춘 경량 디코더가 크게 감소된 계산량으로 최신 기준 성능을 달성할 수 있는가?

주요 결과

• 제안된 DUpsampling 기반 디코더는 PASCAL VOC 테스트 세트에서 88.1% mIOU를 기록하여 새로운 최신 기준을 수립하였으며, DeepLabv3+(3055.35B Multiply-Adds) 대비 계산량의 30%에 불과한 897.94B Multiply-Adds를 사용한다.
• PASCAL Context에서 Xception-71을 사용하여 52.5% mIOU를 달성하였으며, COCO 사전 학습 없이도 새로운 최신 기준을 수립하였고, 이는 이전 모델의 계산량의 1/3에 불과하다.
• 조금 더 낮은 해상도의 인코더(예: 출력 스트라이드 16)를 사용하더라도, 성능을 유지하거나 향상시키면서 계산량을 약 80% 감소시켰다.
• 실험 결과, 적응형 온도 소프트맥스는 학습 안정성을 크게 향상시켰으며, 일반 소프트맥스 대비 3.34% mIOU 향상(69.81% 대비 73.15%)을 기록했다.
• 디코더의 유연성 덕분에 임의의 특징 수준 간에 효과적인 특징 융합이 가능함을 입증하였으며, 저해상도에서 특징을 융합할 경우 성능 향상이 이루어지는 아블레이션 연구 결과가 이를 뒷받침한다.
• 동일한 훈련 설정 하에서 기존 이중선형 디코더보다 프레임워크가 뛰어난 성능을 보이며, DUpsampling의 재구성 능력과 효율성의 우수성을 확인한다.