[논문 리뷰] Revisiting Multi-Scale Feature Fusion for Semantic Segmentation

Tianjian Meng, Golnaz Ghiasi외 3명|arXiv (Cornell University)|2022. 03. 23.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 고내부 해상도나 고비용의 아트로스 컨볼루션에 의존하지 않고도 최신 기술 수준의 정확도를 달성하는 간소화된 세분화 모델인 ESeg를 제안한다. $P_9$까지 확장된 다중 척도 특징 공간과 양방향 BiFPN을 사용함으로써 ESeg는 CityScapes에서 189 FPS에서 76.0% mIoU를 달성하며, 속도와 정확도 양면에서 FasterSeg를 능가한다. 이는 간소화된 아키텍처로도 효율적이고 고성능의 세분화가 가능함을 보여준다.

ABSTRACT

It is commonly believed that high internal resolution combined with expensive operations (e.g. atrous convolutions) are necessary for accurate semantic segmentation, resulting in slow speed and large memory usage. In this paper, we question this belief and demonstrate that neither high internal resolution nor atrous convolutions are necessary. Our intuition is that although segmentation is a dense per-pixel prediction task, the semantics of each pixel often depend on both nearby neighbors and far-away context; therefore, a more powerful multi-scale feature fusion network plays a critical role. Following this intuition, we revisit the conventional multi-scale feature space (typically capped at P5) and extend it to a much richer space, up to P9, where the smallest features are only 1/512 of the input size and thus have very large receptive fields. To process such a rich feature space, we leverage the recent BiFPN to fuse the multi-scale features. Based on these insights, we develop a simplified segmentation model, named ESeg, which has neither high internal resolution nor expensive atrous convolutions. Perhaps surprisingly, our simple method can achieve better accuracy with faster speed than prior art across multiple datasets. In real-time settings, ESeg-Lite-S achieves 76.0% mIoU on CityScapes [12] at 189 FPS, outperforming FasterSeg [9] (73.1% mIoU at 170 FPS). Our ESeg-Lite-L runs at 79 FPS and achieves 80.1% mIoU, largely closing the gap between real-time and high-performance segmentation models.

연구 동기 및 목표

• 높은 내부 해상도와 아트로스 컨볼루션을 정확한 세분화에 필수로 여겨지는 기존의 믿음을 도전하기 위해.
• 더 풍부한 다중 척도 특징 공간과 향상된 특징 융합이 고비용 구성 요소인 아트로스 컨볼루션을 대체할 수 있는지 조사하기 위해.
• 보다 단순하고 빠르며 효율적인 세분화 모델을 개발하여 SOTA 성능을 유지하거나 초월하기 위해.
• 실시간 세분화 모델과 고정확도 세분화 모델 간의 성능 격차를 해소하기 위해.

제안 방법

• 기존의 다중 척도 특징 공간을 $P_5$에서 $P_9$로 확장하여, 가장 작은 특징은 입력 크기의 $1/512$가 되도록 하여 넓은 수신장 확보.
• 사전에 준비된 EfficientNet을 인코더로 사용하고, 수정된 BiFPN을 디코더로 사용하는 경량 인코더-디코더 아키텍처.
• 양방향 특징 융합을 위해 BiFPN을 활용하여 상향식 및 하향식 경로를 결합함으로써 척도 간 특징 통합을 향상.
• 아트로스 컨볼루션과 고해상도 특징 맵을 완전히 회피하여 계산 비용과 메모리 사용량 감소.
• CityScapes에서의 성능 향상을 위해 Mapillary Vistas와 같은 대규모 데이터셋에서의 사전학습과 CityScapes의 굵은 데이터에 대한 자기학습을 활용.
• FLOPs와 모델 크기를 최소화하고 mIoU를 최대화함으로써 추론 효율성 최적화.

실험 결과

연구 질문

• RQ1 고내부 해상도나 아트로스 컨볼루션에 의존하지 않고도 세분화가 최신 기술 수준의 정확도를 달성할 수 있는가?
• RQ2 다중 척도 특징 공간을 $P_9$까지 확장할 경우 특징 표현력과 세분화 정확도에 어떤 영향을 미치는가?
• RQ3 풍부한 다중 척도 환경에서 BiFPN과 같은 양방향 특징 융합 메커니즘이 기존의 상향식 또는 스킵 연결을 능가할 수 있는가?
• RQ4 최소한의 구성 요소를 가진 단순한 인코더-디코더 아키텍처가 복잡한 SOTA 모델에 맞추어지거나 초월할 수 있는가?
• RQ5 대규모 데이터셋에서의 사전학습과 자기학습이 실시간 모델과 고성능 모델 간의 격차를 더 줄일 수 있는가?

주요 결과

• ESeg-Lite-S는 189 FPS에서 CityScapes에서 76.0% mIoU를 달성하여, 속도와 정확도 양면에서 FasterSeg(170 FPS에서 73.1% mIoU)를 능가한다.
• ESeg-Lite-L은 79 FPS에서 80.1% mIoU를 기록하여 실시간 모델과 고정확도 모델 간의 성능 격차를 크게 좁혔다.
• 경쟁 모델 대비 2배에서 9배 적은 파라미터와 4배에서 50배 적은 FLOPs를 사용하면서도 정확도는 동일하거나 초월한다.
• Mapillary Vistas에서의 사전학습과 CityScapes의 굵은 데이터에 대한 자기학습을 통해 ESeg-L은 CityScapes에서 84.8% mIoU를 기록하여 단일 모델, 단일 척도 SOTA를 수립했다.
• BiFPN은 아트로스 컨볼루션 유무에 관계없이 DeepLabV3+를 능가하며, 이는 특징 융합 아키텍처가 고비용 모듈보다 더 중요함을 입증한다.
• 제거 분석 결과, 강력한 다중 척도 융합 메커니즘과 결합된 고내부 해상도가 비용이 많이 들고 불필요함을 확인했다.