[논문 리뷰] Attention to Scale: Scale-aware Semantic Image Segmentation

Liang-Chieh Chen, Yi Yang외 3명|arXiv (Cornell University)|2015. 11. 10.

Advanced Neural Network Applications참고 문헌 5인용 수 134

한 줄 요약

이 논문은 공유형 완전 컨volution 네트워크에서 유도된 다중 척도 특징을 동적으로 가중하는 척도 인지 주의 메커니즘을 제안하며, 평균 풀링 및 최대 풀링 기반의 베이스라인에 비해 성능을 향상시킨다. 이 방법은 각 척도에서 추가적인 감독을 함께 학습함으로써 PASCAL-Person-Part, PASCAL VOC 2012, MS-COCO에서 최신 기준 성능을 달성하며, 각 공간 위치에서 척도별 특징 기여도를 진단적으로 시각화할 수 있다.

ABSTRACT

Incorporating multi-scale features in fully convolutional neural networks (FCNs) has been a key element to achieving state-of-the-art performance on semantic image segmentation. One common way to extract multi-scale features is to feed multiple resized input images to a shared deep network and then merge the resulting features for pixelwise classification. In this work, we propose an attention mechanism that learns to softly weight the multi-scale features at each pixel location. We adapt a state-of-the-art semantic image segmentation model, which we jointly train with multi-scale input images and the attention model. The proposed attention model not only outperforms average- and max-pooling, but allows us to diagnostically visualize the importance of features at different positions and scales. Moreover, we show that adding extra supervision to the output at each scale is essential to achieving excellent performance when merging multi-scale features. We demonstrate the effectiveness of our model with extensive experiments on three challenging datasets, including PASCAL-Person-Part, PASCAL VOC 2012 and a subset of MS-COCO 2014.

연구 동기 및 목표

• 딥 러닝을 활용하여 다양한 척도에서 객체를 처리하는 데 도전하는 문제를 해결한다.
• 모든 척도를 동일하게 취급하는 평균 또는 최대 풀링과 같은 고정된 융합 전략의 한계를 극복한다.
• 객체의 척도에 따라 적응적이고 동적으로 다중 척도 특징을 가중하는 방식으로 세그멘테이션 정확도를 향상시킨다.
• 각 공간 위치에서 예측에 가장 기여하는 척도를 진단적으로 시각화할 수 있도록 한다.
• 다중 척도 융합에서 최적 성능을 내기 위해 각 척도에서 추가 감독이 필요하다는 것을 입증한다.

제안 방법

• 공유 넷 아키텍처를 통해 DeepLab-LargeFOV 모델을 다중 척도 입력 처리를 위한 백본으로 적응시킨다.
• 각 척도에 대해 공간적으로 변하는 가중치 맵을 학습하는 소프트 주의 메커니즘을 적용하여 특징 반응을 동적으로 조절한다.
• 주의 가중치를 사용하여 점수 맵의 가중합을 계산함으로써 다중 척도 특징을 융합하며, 고정된 풀링 연산을 대체한다.
• 각 척도의 최종 출력에 추가 감독을 도입하여 특징 학습과 융합을 향상시킨다.
• 다중 척도 입력과 척도별 감독을 사용하여 주의 모듈과 세그멘테이션 네트워크를 엔드 투 엔드로 공동 학습한다.
• 지역적 맥락과 객체 크기에 기반하여 척도별 특징에 주의를 기울이는 학습 가능한 주의 모듈을 활용한다.

실험 결과

연구 질문

• RQ1 학습 가능한 주의 메커니즘이 고정된 풀링 전략을 초월하여 다중 척도 특징 융합을 향상시킬 수 있는가?
• RQ2 주의 메커니즘이 객체 크기에 따라 다양한 척도의 특징에 중요도를 어떻게 적응적으로 할당하는가?
• RQ3 각 척도에서 추가 감독을 도입할 경우 세그멘테이션 성능에 어떤 영향을 미치는가?
• RQ4 주의 메커니즘이 예측에 가장 기여하는 척도를 의미 있는 진단적 통찰으로 제공할 수 있는가?
• RQ5 제안된 방법이 다양한 데이터셋에서 체계적이고 다양한 객체 척도 분포를 가진 환경에서도 일반화되는가?

주요 결과

• PASCAL VOC 2012에서 척도 {1, 0.5}를 사용할 경우 제안된 주의 메커니즘은 35.41%의 평균 IoU를 달성하여 최대 풀링(34.70%)과 평균 풀링(35.14%)을 모두 초월한다.
• MS-COCO 2014의 서브셋에서 척도 {1, 0.75, 0.5}를 사용할 경우 35.78%의 평균 IoU를 기록하며, DeepLab-LargeFOV 기준선(31.22%) 대비 4.6% 향상되었다.
• MS-COCO의 사람 클래스에서 주의 모델은 72.72%의 IoU를 기록하여 평균 풀링 대비 1.02% 향상되고 최대 풀링 대비 2.06% 향상되었다.
• 주의 메커니즘이 진단적 시각화를 가능하게 하여, 작은 객체는 더 세밀한 척도 특징으로부터 더 높은 주의 가중치를 받고, 큰 객체는 더粗略한 척도에서 더 잘 포착됨을 드러냈다.
• 각 척도에서의 추가 감독이 성능 향상에 필수적임을 입증하였으며, 제거할 경우 아블레이션 테스트에서 성능이 급격히 떨어짐을 확인했다.
• 이 방법은 PASCAL-Person-Part, PASCAL VOC 2012, MS-COCO에서 일관된 향상을 보이며 다양한 데이터셋에 일반화됨을 입증하였고, 척도 변동성과 클래스 불균형에 대한 강건성을 입증했다.