[논문 리뷰] Rethinking Atrous Convolution for Semantic Image Segmentation

Liang-Chieh Chen, George Papandreou외 2명|arXiv (Cornell University)|2017. 06. 17.

Image Retrieval and Classification Techniques참고 문헌 2인용 수 7,431

한 줄 요약

이 논문은 시맨틱 분할을 위한 atrous (dilated) convolution을 재검토하고 DeepLabv3를 제시합니다. 이는 cascaded atrous blocks와 이미지 수준 특징으로 보강된 Atrous Spatial Pyramid Pooling (ASPP)을 결합하여 다중 스케일 맥락을 포착하고 DenseCRF 후처리 없이 PASCAL VOC 2012에서 최첨단에 가까운 결과를 달성합니다.

ABSTRACT

In this work, we revisit atrous convolution, a powerful tool to explicitly adjust filter's field-of-view as well as control the resolution of feature responses computed by Deep Convolutional Neural Networks, in the application of semantic image segmentation. To handle the problem of segmenting objects at multiple scales, we design modules which employ atrous convolution in cascade or in parallel to capture multi-scale context by adopting multiple atrous rates. Furthermore, we propose to augment our previously proposed Atrous Spatial Pyramid Pooling module, which probes convolutional features at multiple scales, with image-level features encoding global context and further boost performance. We also elaborate on implementation details and share our experience on training our system. The proposed `DeepLabv3' system significantly improves over our previous DeepLab versions without DenseCRF post-processing and attains comparable performance with other state-of-art models on the PASCAL VOC 2012 semantic image segmentation benchmark.

연구 동기 및 목표

• 특징 해상도 감소와 다중 스케일 물체와 관련된 시맨틱 분할의 문제를 atrous convolution을 사용하여 동기 부여하고 해결한다.
• cascaded atrous blocks와 병렬 atrous 가지(ASPP)를 통해 다중 스케일 맥락을 포착하는 아키텍처를 개발한다.
• 이미지 수준의 글로벌 맥락 특징으로 ASPP를 보강하고 성능을 향상시키는 학습 세부 정보를 연구한다.

제안 방법

• 출력 해상도(output_stride)를 제어하면서 밀집 피처를 추출하기 위해 atrous convolution를 적용한다.
• 과도한 공간적 디케이션 없이 수용 영역을 점진적으로 확장하도록 cascaded atrous convolution 블록을 설계한다.
• 다수의 비율, 배치 정규화, 이미지 수준 특징을 포함해 글로벌 맥 context를 제공하도록 Atrous Spatial Pyramid Pooling (ASPP)를 보강한다.
• 장거리 맥락 포착을 향상시키기 위해 cascaded 블록 내에서 다중 격자 비율을 실험한다.
• 훈련 중 로짓 업샘플링, 배치 정규화 미세 조정, 더 큰 크롭 사이즈를 포함한 향상된 프로토콜로 학습한다.
• 다양한 output_stride 설정과 추론 전략(다중 스케일, 플립)을 평가하여 정확도를 극대화한다.

실험 결과

연구 질문

• RQ1 atrous convolution을 재구성하여 시맨틱 분할의 다중 스케일 맥락을 더 잘 포착할 수 있는 방법은 무엇인가?
• RQ2 이미지 수준 특징으로 ASPP를 보강하고 BN 학습을 신중하게 조정하면 기존의 DeepLab 변형보다 분할 정확도가 향상되는가?
• RQ3 cascaded 대 병렬 다중 비율 atrous 모듈이 분할 성능에 어떤 영향을 미치는가?
• RQ4 학습/추론 전략(output_stride, crop size, bootstrapping)이 VOC2012와 Cityscapes의 성능에 어떠한 영향을 미치는가?
• RQ5 제안된 DeepLabv3 아키텍처를 위해 MS-COCO 사전 학습으로 얻는 이점은 무엇인가?

주요 결과

• DeepLabv3는 DenseCRF 후처리 없이 PASCAL VOC 2012 테스트에서 85.7% mIOU를 달성합니다.
• MS-COCO에서의 사전 학습 후 최적 설정과 JFT-300M 변형으로 VOC2012 테스트에서 86.9% mIOU를 달성합니다.
• 이미지 수준 특징으로 ASPP를 보강하고 배치 정규화를 튜닝하면 VOC2012 val 성능이 향상되며, 최상의 ASPP 구성은 추론 시간 개선으로 79.77% mIOU에 도달합니다.
• Cityscapes에서 DeepLabv3는 train_fine만으로 학습했을 때 테스트 세트에서 81.3% mIOU에 도달하고, 추론 설정에 따라 81.3–79.30%까지 달성됩니다; 다중 스케일 및 플립을 사용하면 검증(Cityscapes)에서 정확도가 추가로 79.30%로 향상됩니다.
• 추론 전략(output_stride=8, 다중 스케일 입력, 좌우 플립)은 기본 OS=16보다 일관되게 성능을 향상시킵니다.
• 훈련 중 어려운 이미지(예: 자전거)를 부트스트랩하면 드물고 세밀하게 주석된 클래스의 성능이 향상됩니다.