[논문 리뷰] Improving Fully Convolution Network for Semantic Segmentation

Bing Shuai, Ting Liu외 1명|arXiv (Cornell University)|2016. 11. 28.

Advanced Neural Network Applications참고 문헌 30인용 수 21

한 줄 요약

이 논문은 수신장과 다중 척도의 맥락적 특징을 융합하기 위해 밀집 연결 스킵 연결을 갖춘 맥락 네트워크를 도입하여 의미 분할 성능을 햖थ한 개선된 완전 컨volution 네트워크(Improved Fully Convolutional Network, IFCN)를 제안한다. IFCN는 후처리나 COCO 사전학습 없이도 ADE20K, Pascal Context, Pascal VOC 2012, SUN-RGBD에서 최신 기술 수준(SOTA) 성능을 달성하며, 모든 벤치마크에서 FCN보다 7.5% 이상 높은 mIOU를 기록한다.

ABSTRACT

Fully Convolution Networks (FCN) have achieved great success in dense prediction tasks including semantic segmentation. In this paper, we start from discussing FCN by understanding its architecture limitations in building a strong segmentation network. Next, we present our Improved Fully Convolution Network (IFCN). In contrast to FCN, IFCN introduces a context network that progressively expands the receptive fields of feature maps. In addition, dense skip connections are added so that the context network can be effectively optimized. More importantly, these dense skip connections enable IFCN to fuse rich-scale context to make reliable predictions. Empirically, those architecture modifications are proven to be significant to enhance the segmentation performance. Without engaging any contextual post-processing, IFCN significantly advances the state-of-the-arts on ADE20K (ImageNet scene parsing), Pascal Context, Pascal VOC 2012 and SUN-RGBD segmentation datasets.

연구 동기 및 목표

• 표준 완전 컨볼루션 네트워크(FCN)가 고해상도 입력을 처리하는 데서 기인하는 한계를 해결하기 위해.
• ImageNet 분류 사전학습과 고해상도 분할 작업 사이의 도메인 갭을 줄이기 위해.
• 더 풍부한 다중 척도 맥락 융합과 더 큰 효과적 수신장 확보를 통해 의미 분할 성능을 향상시키기 위해.
• 새로운 계산 레이어를 도입하거나 보조 사전학습 데이터가 필요 없이 FCN를 향상시키는 플러그인 아키텍처를 개발하기 위해.

제안 방법

• 특징 맵의 수신장을 점진적으로 확장하기 위해 밀집 스킵 연결을 갖춘 스택된 컨볼루션 블록으로 구성된 맥락 네트워크를 도입한다.
• 모든 중간 특징 맵에서의 밀집 스킵 연결을 활용하여 오차 역전파를 촉진하고 맥락 네트워크의 효과적 최적화를 가능하게 한다.
• 초기 VGG-16 네트워크 레이어의 특징을 활용하여 다중 척도 특징을 융합하고 정위치 정확도를 향상시킨다.
• 네트워크 크기를 줄이고 특징 맵의 압축성을 높이기 위해 최종 완전 연결 레이어(fc6, fc7)를 제거한다.
• 사전학습된 CNN과 업샘플링 레이어 사이에 맥락 네트워크를 삽입하여 분할 데이터에 대해 엔드 투 엔드의 미세조정을 가능하게 하는 수정된 아키텍처를 채택한다.
• 표준 딥러닝 프레임워크를 활용하여 구현함으로써 호환성과 배포 용이성을 확보한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 FCN 특징 맵의 수신장을 효과적으로 확장하여 의미 분할에서 맥락 이해를 향상시킬 수 있는가?
• RQ2 맥락 네트워크에 밀집 스킵 연결을 도입하면 고해상도 분할 작업에서 최적화와 특징 융합이 향상되는가?
• RQ3 초기 및 깊은 레이어의 특징에서 유도된 다중 척도 맥락 융합이 다양한 데이터셋에서 분할 정확도에 얼마나 기여하는가?
• RQ4 보조 데이터셋(COCO 등)을 사용하지 않고도 수정된 FCN 아키텍처가 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 제안된 IFCN 아키텍처는 DeepLab 및 DilatedNet과 같은 기존 최신 기술 수준 모델과 비교해 추론 효율성과 정확도에서 어떤가?

주요 결과

• IFCN-8s는 Pascal VOC 2012에서 mIOU 79.3%를 기록하여 FCN-8s(37.8%)를 크게 앞서며, 이전의 최신 기술 수준 모델인 DeepLab-v2와 DilatedNet을 초월한다.
• ADE20K에서 IFCN-8s는 mIOU 75.3%를 달성하여 FCN-8s와 CRF-RNN, UoA-Context와 같은 선도적 모델들을 압도한다.
• Pascal Context에서 IFCN-8s는 mIOU 75.3%를 기록하여 FCN-8s와 LRR, DPN과 같은 최신 기술 수준 모델들보다 일관된 성능 향상을 보였다.
• SUN-RGBD에서 IFCN-8s는 mIOU 45.0%를 기록하여 실내 및 실외 환경 전반에서 강력한 일반화 능력을 입증했다.
• ResNet-101 백본을 사용한 IFCN-8s는 Pascal Context에서 mIOU 49.9%를 기록하여 COCO 사전학습 없이도 최신 기술 수준을 더욱 향상시켰다.
• IFCN-8s(VGG-16 기반)의 추론 시간은 1장당 47.9ms로, 성능 향상와 현대 딥러닝 프레임워크 호환성 고려 시 합리적인 수준이다.