[논문 리뷰] Attention Correctness in Neural Image Captioning

Chenxi Liu, Junhua Mao외 2명|arXiv (Cornell University)|2016. 05. 31.

Multimodal Machine Learning Applications참고 문헌 32인용 수 73

한 줄 요약

이 논문은 신경망 이미지 캡션 생성 모델의 주의 맵과 인간이 주석 처리한 이미지 영역-캡션 엔티티 대응 관계 간의 정렬을 측정함으로써 주의의 정확성을 평가하기 위한 정량적 지표를 제안한다. 영역-캡션 대응 관계가 제공될 경우 강한 지도 학습, 오직 물체 세그먼트와 카테고리 정보만 제공될 경우 약한 지도 학습을 적용함으로써, 저자들은 플리커팍스30k 및 COCO 데이터셋에서 인간 주석과의 주의 맵 일致성과 총합 캡션 품질 향상에 있어 뚜렷한 개선을 보여주었다.

ABSTRACT

Attention mechanisms have recently been introduced in deep learning for various tasks in natural language processing and computer vision. But despite their popularity, the "correctness" of the implicitly-learned attention maps has only been assessed qualitatively by visualization of several examples. In this paper we focus on evaluating and improving the correctness of attention in neural image captioning models. Specifically, we propose a quantitative evaluation metric for the consistency between the generated attention maps and human annotations, using recently released datasets with alignment between regions in images and entities in captions. We then propose novel models with different levels of explicit supervision for learning attention maps during training. The supervision can be strong when alignment between regions and caption entities are available, or weak when only object segments and categories are provided. We show on the popular Flickr30k and COCO datasets that introducing supervision of attention maps during training solidly improves both attention correctness and caption quality, showing the promise of making machine perception more human-like.

연구 동기 및 목표

• 신경망 이미지 캡션 생성 모델이 캡션의 특정 단어나 어구에 대응하는 영역을 얼마나 일관되게 주의하는지 정량적으로 평가하는 것.
• 더 인간과 유사한 주의 맵이 더 나은 캡션 생성 성능을 이끌어내는지 조사하는 것.
• 강한(영역-캡션 대응 관계) 또는 약한(물체 세그먼트와 카테고리 레이블) 주석을 사용하여 주의 정확성을 향상시키기 위한 훈련 프레임워크를 개발하는 것.
• 기계의 주의와 인간의 인지 간 격차를 줄이는 것.

제안 방법

• 캡션 내 명사구에 대응하는 인간 주석 처리된 이미지 영역과 예측 주의 맵 간의 겹침을 기반으로 한 주의 정확성 평가를 위한 새로운 정량적 지표를 제안한다.
• 평가 및 지도 학습을 위한 기준 데이터로 Flickr30k Entities 데이터셋을 사용한다.
• 강한 지도 학습(직접적인 영역-엔티티 대응 관계) 또는 약한 지도 학습(물체 세그먼트 마스크와 카테고리 레이블)을 사용하여 주의 모듈을 명시적으로 훈련하는 지도 주의 메커니즘을 도입한다.
• 주의 모듈이 기준값과 일치하는 주의 맵을 예측하도록 설계된 이중 브랜치 아키텍처를 사용하며, 교차 엔트로피 손실을 적용한다.
• CNN을 사용한 이미지 특징 추출과 RNN을 사용한 캡션 생성을 기반으로 하는 표준 인코더-디코더 프레임워크 내에서 지도 주의 모듈을 적용한다.
• BLEU 및 METEOR와 같은 표준 지표를 사용하여 지도 학습의 영향을 주의 정확성과 후속 캡션 생성 성능 측면에서 평가한다.

실험 결과

연구 질문

• RQ1 암묵적 주의 모델이 캡션의 단어나 어구에 대응하는 인간 주석 처리된 이미지 영역과 얼마나 일관되게 주의를 기울이는가?
• RQ2 주의 정확성을 향상시키는 것이 얼마나 많은 정도로 이미지 캡션 생성 성능 향상에 기여하는가?
• RQ3 오직 물체 세그먼트 마스크와 카테고리 레이블만을 사용하는 약한 지도 학습으로도 주의 정확성과 캡션 품질 향상이 유의미하게 이루어지는가?
• RQ4 주의 정확성과 생성된 캡션의 품질 사이에 정적 상관관계가 존재하는가?

주요 결과

• 암묵적 주의 모델은 균일한 주의 기반 베이스라인보다 성능이 뛰어나지만, 여전히 인간 주석과의 일치성이 뚜렷하게 떨어져 향상 여지가 있음을 시사한다.
• 강한 지도 학습(영역-캡션 대응 관계 사용)을 적용한 지도 주의 모델은 암묵적 모델보다 유의미하게 높은 주의 정확성을 달성한다.
• 플리커팍스30k 데이터셋에서, 지도 모델은 암묵적 베이스라인 대비 BLEU-4 점수를 0.9점 향상시키고 METEOR 점수를 0.21점 향상시켰다.
• COCO 데이터셋에서, 지도 모델은 암묵적 베이스라인 대비 BLEU-4 점수를 0.7점 향상시키고 METEOR 점수를 0.32점 향상시켰다.
• 주의 정확성과 캡션 품질 사이에 정적 상관관계가 관찰되었다: 고정확도 주의 영역에서는 BLEU-4 점수가 28.1에 도달하는 반면, 저정확도 영역에서는 25.4에 머물렀다.
• 조금 약한 지도 학습(물체 세그먼트와 카테고리)을 사용하더라도 주의 정확성과 캡션 품질 향상이 상당히 이루어져, 이 방법의 강건성을 입증하였다.