[논문 리뷰] Learning to Predict Context-adaptive Convolution for Semantic Segmentation

Jianbo Liu, Junjun He외 3명|arXiv (Cornell University)|2020. 04. 17.

Advanced Neural Network Applications참고 문헌 48인용 수 7

한 줄 요약

이 논문은 전역적 맥락에서 예측된 공간적으로 변화하는 컨볼루션 커널을 통해 공간적으로 변화하는 특징 재가중을 학습하는 컨텍스트 적응형 컨볼루션 네트워크(CaC-Net)를 제안한다. 효율적인 행렬 곱셈 기반의 커널 예측 메커니즘을 사용함으로써 CaC-Net는 PASCAL Context, PASCAL VOC 2012, ADE20K에서 각각 85.1%, 85.1%, 46.12%의 mIoU를 기록하며 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Long-range contextual information is essential for achieving high-performance semantic segmentation. Previous feature re-weighting methods demonstrate that using global context for re-weighting feature channels can effectively improve the accuracy of semantic segmentation. However, the globally-sharing feature re-weighting vector might not be optimal for regions of different classes in the input image. In this paper, we propose a Context-adaptive Convolution Network (CaC-Net) to predict a spatially-varying feature weighting vector for each spatial location of the semantic feature maps. In CaC-Net, a set of context-adaptive convolution kernels are predicted from the global contextual information in a parameter-efficient manner. When used for convolution with the semantic feature maps, the predicted convolutional kernels can generate the spatially-varying feature weighting factors capturing both global and local contextual information. Comprehensive experimental results show that our CaC-Net achieves superior segmentation performance on three public datasets, PASCAL Context, PASCAL VOC 2012 and ADE20K.

연구 동기 및 목표

• 다양한 이미지 영역에서 공간적으로 변화하는 맥락적 요구를 반영하지 못하는 전역 공유 특징 재가중 전략의 한계를 해결한다.
• 공간적으로 적응형 특징 조절을 통해 전역 및 국소 맥락 정보를 통합함으로써 세분화 정확도를 향상시킨다.
• 과도한 파라미터를 도입하지 않고도 공간적으로 변화하는 특징 가중 요소를 생성하는 데에 효율적인 파라미터 기반 방법을 개발한다.
• 계산 및 메모리 효율성을 유지하면서도 여러 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 전역 맥락에서 경량이고 파라미터 효율적인 메커니즘을 사용해 공간적으로 변화하는 컨볼루션 커널을 예측하는 컨텍스트 적응형 컨볼루션(CaC) 모듈을 제안한다.
• 완전 연결층 대신 행렬 곱셈을 사용하여 CaC 커널 파라미터를 생성함으로써 파라미터 수와 계산 비용을 감소시킨다.
• 예측된 커널을 사용해 깊이 분리 컨볼루션을 적용하여 공간적으로 변화하는 특징 가중 맵을 생성하고, 이를 입력 특징 맵을 조절하는 데에 사용한다.
• 다양한 확장률을 가진 확장된 깊이 분리 컨볼루션을 통합하여 다중 척도 맥락 정보를 포착한다.
• 세분화 감독을 위해 교차 엔트로피 손실과 다이스 손실을 사용하며, ResNet101 백본을 사용하고 엔드 투 엔드 최적화 방식으로 네트워크를 훈련시킨다.
• 세분화 네트워크의 디코더 경로에 CaC 모듈을 통합하여 다중 척도에서 특징 표현을 정밀하게 보정한다.

실험 결과

연구 질문

• RQ1 공간적으로 변화하는 특징 재가중은 전역 공유 재가중 전략을 초월하여 세분화 성능을 향상시킬 수 있는가?
• RQ2 모델 복잡도를 증가시키지 않고도 전역 맥락 정보를 효율적으로 활용해 위치 기반 특징 조절을 생성할 수 있는가?
• RQ3 제안된 컨텍스트 적응형 컨볼루션 메커니즘은 표준 벤치마크에서 기존의 어텐션 및 재가중 모듈을 능가하는가?
• RQ4 CaC-Net는 다양한 시나리오 복잡도와 카테고리 다양성을 가진 다양한 데이터셋에 일반화 가능한가?

주요 결과

• PASCAL VOC 2012 테스트 세트에서 CaC-Net는 COCO 전훈련 없이도 평균 교차율(mIoU) 85.1%를 기록하며 모든 이전 방법을 초월한다.
• PASCAL Context 데이터셋에서 CaC-Net는 mIoU 85.1%를 기록하며, 긴 尾 카테고리와 미세 분류 카테고리에서 뛰어난 성능을 보여준다.
• ADE20K 데이터셋에서 CaC-Net는 ResNet101 백본을 사용해 46.12%의 mIoU를 기록하며, 동일한 백본을 사용한 모든 이전 방법을 능가한다.
• 시각화 결과는 예측된 공간적으로 변화하는 가중치가 특정 클래스 영역을 효과적으로 강조함을 보여주며, 예를 들어 수상한 장면에서의 보트나 도시 지역에서의 건물 등을 잘 식별한다.
• 제거 실험 결과는 제안된 CaC 모듈이 기준 모델 및 표준 어텐션 기반 기법보다 성능 향상에 뚜렷한 기여를 한다고 확인한다.
• 파라미터 효율적인 커널 예측 메커니즘은 표준 동적 컨볼루션 접근 방식에 비해 모델 크기와 추론 비용을 감소시킨다.