[논문 리뷰] See More Than Once -- Kernel-Sharing Atrous Convolution for Semantic Segmentation

Ye Huang, Qingqing Wang외 2명|arXiv (Cornell University)|2019. 08. 26.

Advanced Neural Network Applications참고 문헌 27인용 수 13

한 줄 요약

이 논문은 여러 개의 병렬 브랜치가 동일한 커널을 공유하는 새로운 세분화 모듈인 커널 공유 아트로우스 컨볼루션(KSAC)을 제안한다. 각 브랜치는 서로 다른 아트로우스 비율을 사용하여 입력 특징 맵을 다중으로 스캔함으로써 단일 커널이 다양한 수신장(Receptive Field)을 가짐으로써 특징 표현 능력과 일반화 성능을 향상시키고, 파라미터 수를 33% 감소시키며, MobileNetV2 기반으로 PASCAL VOC 2012에서 mIOU를 0.6% 향상시키고, Xception 기반으로는 2.62% 향상시킨다. 이는 모델 크기나 추론 비용을 증가시키지 않음에도 불구하고 달성된 성과이다.

ABSTRACT

The state-of-the-art semantic segmentation solutions usually leverage different receptive fields via multiple parallel branches to handle objects with different sizes. However, employing separate kernels for individual branches degrades the generalization and representation abilities of the network, and the number of parameters increases linearly in the number of branches. To tackle this problem, we propose a novel network structure namely Kernel-Sharing Atrous Convolution (KSAC), where branches of different receptive fields share the same kernel, i.e., let a single kernel see the input feature maps more than once with different receptive fields, to facilitate communication among branches and perform feature augmentation inside the network. Experiments conducted on the benchmark PASCAL VOC 2012 dataset show that the proposed sharing strategy can not only boost a network s generalization and representation abilities but also reduce the model complexity significantly. Specifically, on the validation set, whe compared with DeepLabV3+ equipped with MobileNetv2 backbone, 33% of parameters are reduced together with an mIOU improvement of 0.6%. When Xception is used as the backbone, the mIOU is elevated from 83.34% to 85.96% with about 10M parameters saved. In addition, different from the widely used ASPP structure, our proposed KSAC is able to further improve the mIOU by taking benefit of wider context with larger atrous rates. Finally, our KSAC achieves mIOUs of 88.1% and 45.47% on the PASCAL VOC 2012 test set and ADE20K dataset, respectively. Our full code will be released on the Github.

연구 동기 및 목표

• 세분화에서 병렬 다중 브랜치 네트워크의 한계, 즉 브랜치 간 소통 부족과 브랜치 수 증가에 따라 선형적으로 증가하는 파라미터 수 문제를 해결하기 위해.
• 입력 특징 맵을 반복적으로 스캔함으로써 단일 커널이 다양한 수신장을 통해 특징을 학습할 수 있도록 하여 모델의 일반화 및 표현 능력을 향상시키기 위해.
• 기본 데이터셋인 PASCAL VOC 2012와 ADE20K에서 성능을 유지하거나 향상시키면서도 모델 복잡도와 추론 비용을 줄이기 위해.
• 표준 ASPP에서 관찰되는 성능 저하 문제를 해결하기 위해 더 큰 아트로우스 비율(예: 24)을 사용할 수 있도록 하되, 파라미터 수를 증가시키지 않기 위해.

제안 방법

• KSAC는 여러 병렬 브랜치에 동일한 3×3 커널을 공유하며, 각 브랜치는 서로 다른 아트로우스 비율을 적용한다.
• 공유된 커널이 동일한 입력 특징 맵을 여러 브랜치에 순차적으로 적용되어 한 번의 전진 계산으로 국소적이고 전역적인 특징을 학습할 수 있다.
• 이 메커니즘은 스케일 간 특징 통신을 가능하게 하며, 커널 당 유효 학습 샘플 수를 증가시켜 표현 능력을 향상시킨다.
• 더 큰 아트로우스 비율(예: 24)을 가진 신규 브랜치를 추가하더라도 파라미터 수가 증가하지 않으며, 동일한 커널을 공유하므로 가능하다.
• KSAC는 DeepLabV3+와 같은 기존 아키텍처에 통합 가능하며, Tensorflow 2.0과 같은 표준 딥러닝 프레임워크에서도 쉽게 배포할 수 있다.
• 모델은 출력 스트라이드 16에서 훈련 및 평가되었으며, OS=8 설정 대비 메모리 소비를 줄이고 추론 속도를 높여 높은 성능을 달성했다.

실험 결과

연구 질문

• RQ1 다양한 아트로우스 비율 브랜치에 걸쳐 단일 공유 커널을 적용함으로써 세분화에서 특징 표현 능력과 일반화 성능 향상이 가능한가?
• RQ2 커널 공유 기법이 성능을 유지하거나 향상시키면서도 모델 복잡도를 줄일 수 있는가?
• RQ3 KSAC는 파라미터 수를 증가시키지 않으면서도 더 큰 아트로우스 비율(예: 24)을 효과적으로 활용하여 넓은 맥락 정보를 확보할 수 있는가?
• RQ4 PASCAL VOC 2012와 ADE20K에서 표준 ASPP와 비교해 KSAC는 mIOU, 파라미터 수, 추론 효율성 측면에서 어떤 성능을 보이는가?
• RQ5 KSAC는 출력 스트라이드 16에서 높은 성능을 달성할 수 있으며, 일반적으로 OS=8 설정에서 발생하는 속도 저하와 GPU 메모리 4배 증가 문제를 피할 수 있는가?

주요 결과

• MobileNetV2 기반 PASCAL VOC 2012에서 KSAC는 파라미터를 33% 감소시켜 4.5M에서 3.0M로 줄였고, mIOU를 75.70%에서 76.30%로 0.6% 향상시켰다.
• Xception을 백본으로 사용할 경우, 파라미터 수를 약 10M 감소시켜 54.3M에서 44.8M로 줄였고, mIOU는 83.34%에서 85.96%로 향상되었다.
• 비율 24인 브랜치를 추가함으로써 KSAC는 추가 파라미터 없이도 mIOU를 87.01%까지 끌어올렸으며, DeepLabV3+ 대비 3.67% 높은 성능을 기록했다.
• PASCAL VOC 2012 테스트 세트에서 KSAC는 mIOU 88.1%를 달성하여, SOTA 기법인 DeepLabV3+(87.8%)와 ExFuse(87.9%)를 초월했다.
• ADE20K에서 KSAC는 다중 스케일 테스트 조건에서 45.47%의 mIOU를 기록하여, CFNet(44.89%)와 EncNet(44.65%)를 포함한 모든 비교 기준 모델을 앞섰다.
• KSAC는 출력 스트라이드 16에서 높은 성능을 달성했으며, 일반적으로 OS=8 설정에서 발생하는 3배 속도 감소와 4배 GPU 메모리 증가 문제를 피해 더 빠르고 메모리 효율적인 성능을 제공했다.