[논문 리뷰] SCA-CNN: Spatial and Channel-wise Attention in Convolutional Networks for Image Captioning

Long Chen, Hanwang Zhang외 5명|arXiv (Cornell University)|2016. 11. 17.

Multimodal Machine Learning Applications참고 문헌 42인용 수 39

한 줄 요약

SCA-CNN는 이미지 캡셔닝을 위한 기존의 컨volution 신경망(CNN)에 공간적, 채널별, 다층 주의 메커니즘을 통합한 새로운 컨volution 신경망을 제안한다. 여러 층과 채널을 통해 문장 생성의 맥락을 동적으로 조절함으로써, 표준 벤치마크에서 이전의 공간적 주의 모델보다 BLEU4 기준 4.8% 향상된 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Visual attention has been successfully applied in structural prediction tasks such as visual captioning and question answering. Existing visual attention models are generally spatial, i.e., the attention is modeled as spatial probabilities that re-weight the last conv-layer feature map of a CNN encoding an input image. However, we argue that such spatial attention does not necessarily conform to the attention mechanism --- a dynamic feature extractor that combines contextual fixations over time, as CNN features are naturally spatial, channel-wise and multi-layer. In this paper, we introduce a novel convolutional neural network dubbed SCA-CNN that incorporates Spatial and Channel-wise Attentions in a CNN. In the task of image captioning, SCA-CNN dynamically modulates the sentence generation context in multi-layer feature maps, encoding where (i.e., attentive spatial locations at multiple layers) and what (i.e., attentive channels) the visual attention is. We evaluate the proposed SCA-CNN architecture on three benchmark image captioning datasets: Flickr8K, Flickr30K, and MSCOCO. It is consistently observed that SCA-CNN significantly outperforms state-of-the-art visual attention-based image captioning methods.

연구 동기 및 목표

• 최근의 시각 주의 모델이 최종 컨볼루션 층에서만 공간적 주의에 집중하는 데서 비롯되는 한계를 해결하기 위해.
• CNN 특징의 고유한 공간적, 채널별, 다층적 특성을 활용하여 이미지 캡셔닝에서 개선된 시각적 표현을 도출하기 위해.
• 다양한 특징 층을 통해 관련된 공간적 위치와 채널을 동적으로 선택할 수 있는 통합 주의 메커니즘을 개발하기 위해.
• 문장 생성 과정에서 시각 주의가 층을 거쳐 어떻게 변화하는지에 대한 깊이 있는 이해를 제공하기 위해.

제안 방법

• SCA-CNN는 사전 훈련된 CNN에서 유도된 다층 3차원 특징 맵에 대해 작동하는 공간적 및 채널별 주의 모듈을 도입한다.
• 모델은 여러 컨볼루션 층을 통해 각 공간적 위치와 채널에 대해 주의 가중치를 계산하여 동적 특징 조절을 가능하게 한다.
• 주의 가중치는 문장 맥락을 통합하는 학습 가능한 메커니즘을 통해 관련된 시각적 특징을 유도적으로 선택하도록 한다.
• 이 방법은 VGG 및 ResNet과 같은 어떤 CNN 아키텍처에도 적용 가능한 일반성 있는 방법으로, 선택된 층에 주의 모듈을 삽입함으로써 적용할 수 있다.
• 채널별 주의는 현재 캡처링 맥락과 의미적으로 관련된 특정 필터 반응(예: '케이크' 또는 '양초')을 식별한다.
• 주의 메커니즘은 미분 가능하며, 엔드 투 엔드 역전파를 통해 이미지 캡처링 디코더와 함께 공동으로 훈련된다.

실험 결과

연구 질문

• RQ1 채널별 및 다층 주의를 통합함으로써 공간적 주의에 국한된 기존 모델을 초월해 시각적 표현을 향상시킬 수 있는가?
• RQ2 공간적, 채널별, 다층 주의의 조합이 표준 벤치마크에서 캡처링 성능에 어떤 영향을 미치는가?
• RQ3 제안된 SCA-CNN 모델이 공간적 주의 모델에 비해 더 해석 가능하고 의미적으로 유의미한 주의 맵을 제공하는가?
• RQ4 주의를 적용하는 층의 수가 성능과 일반화에 어떤 영향을 미치며, 특히 소규모 데이터셋에서 어떻게 영향을 미치는가?

주요 결과

• SCA-CNN는 Flickr8K, Flickr30K, MSCOCO 벤치마크에서 최신 기술 수준의 공간적 주의 모델(Soft-Attention)보다 BLEU4 기준 4.8% 높은 성능을 기록한다.
• 모델은 세 데이터셋 전반에 걸쳐 일관된 향상을 보이며, 공간적 및 채널별 주의를 동시에 모델링하는 것이 효과적임을 입증한다.
• 더 많은 주의를 적용하는 층을 추가할수록 성능 향상이 이루어지지만, 너무 많은 층을 사용할 경우 특히 Flickr8K와 같은 소규모 데이터셋에서 과적합이 발생한다.
• MSCOCO 테스트 서버에서 SCA-CNN는 앙상블 모델(예: ATT 및 Google NIC)을 제외하고는 유일하게 뒤처지며, BLEU4 기준 각각 0.6%와 0.7%의 격차를 보인다.
• 정성적 시각화 결과 채널별 주의가 의미적으로 관련된 개념(예: '우산', '양초')에 해당하는 필터를 선택적으로 활성화함을 확인하여 해석 가능성의 증명이 되었다.
• 모델는 문장 생성 과정에서 네트워크가 어디(공간적으로)와 무엇(채널별로)를 주의하고 있는지에 대한 더 명확한 이해를 제공한다.