[논문 리뷰] Large Kernel Matters -- Improve Semantic Segmentation by Global Convolutional Network

Chao Peng, Xiangyu Zhang외 3명|arXiv (Cornell University)|2017. 03. 08.

Video Surveillance and Tracking Methods참고 문헌 3인용 수 29

한 줄 요약

이 논문은 전연결형 구조를 채택한 새로운 기술인 글로벌 컨volution 네트워크(GCN)를 제안한다. 이는 큰 크기의 대칭적이고 분리 가능한 필터를 사용하여 세분화 분류와 국소화 성능을 향상시킨다. 정확한 윤곽 예측을 위해 잔차 기반 경계 보정 블록을 통합함으로써, PASCAL VOC 2012에서 82.2%의 평균 IoU와 Cityscapes에서 76.9%의 평균 IoU를 기록하며 기존 방법들보다 뚜렷한 성능 향상을 이룬다.

ABSTRACT

One of recent trends [30, 31, 14] in network architec- ture design is stacking small filters (e.g., 1x1 or 3x3) in the entire network because the stacked small filters is more ef- ficient than a large kernel, given the same computational complexity. However, in the field of semantic segmenta- tion, where we need to perform dense per-pixel prediction, we find that the large kernel (and effective receptive field) plays an important role when we have to perform the clas- sification and localization tasks simultaneously. Following our design principle, we propose a Global Convolutional Network to address both the classification and localization issues for the semantic segmentation. We also suggest a residual-based boundary refinement to further refine the ob- ject boundaries. Our approach achieves state-of-art perfor- mance on two public benchmarks and significantly outper- forms previous results, 82.2% (vs 80.2%) on PASCAL VOC 2012 dataset and 76.9% (vs 71.8%) on Cityscapes dataset.

연구 동기 및 목표

• 세분화 분할에서 분류 불변성과 국소화 민감성 간의 본질적 갈등을 해결한다.
• 큰 커널 컨볼루션을 통해 효과적 수신 영역를 확대하여 밀도 높은 픽셀 단위 예측 성능을 향상시킨다.
• 전역 풀링 및 완전 연결 층을 피하여 국소화 정확도를 유지한다.
• 엔드 투 엔드 학습 가능한 잔차 기반 경계 보정 블록을 통해 객체 윤곽을 보정한다.
• 후처리 CRF에 의존하지 않고 표준 벤치마크에서 최신 기술 수준의 성능를 달성한다.

제안 방법

• 효과적 수신 영역를 확대하고 특징 간 연결성을 향상시키기 위해 큰 크기의 대칭적이고 분리 가능한 컨볼루션 필터를 사용하는 글로벌 컨볼루션 네트워크(GCN)를 제안한다.
• 공간 해상도와 국소화 정확도를 유지하기 위해 전연결형 인코더-디코더 프레임워크를 설계한다.
• 객체 윤곽 근처의 세분화 맵을 보정하기 위해 잔차 모듈로서 경계 보정(BR) 블록을 도입한다.
• 주 네트워크와 함께 엔드 투 엔드로 BR 블록을 학습시켜 후처리 CRF에 의존하지 않는다.
• 성능 향상을 검증하기 위해 다중 척도 추론과 CRF 후처리를 아블레이션 기반으로 사용한다.
• 세 단계로 학습한다: COCO에서의 사전 학습, SBD 및 VOC에서의 미세 조정, 최종적으로 VOC에서만의 최종 미세 조정.

실험 결과

연구 질문

• RQ1 큰 커널 컨볼루션은 특징 표현과 효과적 수신 영역를 향상시켜 세분화 분할 성능를 향상시킬 수 있는가?
• RQ2 전연결형 컨볼루션 네트워크에서 큰 커널을 사용할 경우 모델 용량과 파라미터 효율성 간의 트레이드오프는 어떻게 변화하는가?
• RQ3 학습 가능한 잔차 기반 경계 보정 블록이 전통적인 CRF 후처리 방법보다 경계 국소화 성능를 뛰어나게 할 수 있는가?
• RQ4 제안된 GCN 아키텍처는 CRF나 다중 척도 테스트에 의존하지 않고도 표준 벤치마크에서 최신 기술 수준의 성능를 달성할 수 있는가?
• RQ5 GCN의 설계는 조밀한 예측 작업에서 분류-국소화 갈등 문제를 어느 정도 해결하는가?

주요 결과

• GCN 모델은 PASCAL VOC 2012 테스트 세트에서 82.2%의 평균 IoU를 기록하여 이전 최신 기술 수준인 80.2%를 초월한다.
• Cityscapes 데이터셋에서는 76.9%의 평균 IoU를 기록하여 이전 최신 기술 수준인 71.8%를 크게 뛰어넘는다.
• 경계 보정 블록은 PASCAL VOC 2012에서 1.6% 향상(80.3% → 82.2%)과 Cityscapes에서 3.9% 향상(73.0% → 76.9%)을 기록한다.
• 아블레이션 연구를 통해 큰 커널과 대칭적 분리 가능한 필터는 수신 영역 크기와 파라미터 효율성 간에 유리한 트레이드오프를 제공함을 확인한다.
• GCN + BR 모델은 표준 다중 척도 추론과 CRF 후처리 모두를 능가하며, 엔드 투 엔드 경계 학습의 효과성을 입증한다.
• 정성적 결과에서는 GCN가 내부 영역 예측을 향상시키고, BR이 특별히 경계 정확도를 향상시킴을 보여준다.