[논문 리뷰] Image Captioning with Semantic Attention

Quanzeng You, Hailin Jin외 3명|arXiv (Cornell University)|2016. 03. 12.

Multimodal Machine Learning Applications참고 문헌 34인용 수 247

한 줄 요약

시맨틱 어텐션 모델을 제안하여 상향식 CNN 특징과 하향식으로 탐지된 시각 개념을 RNN 내부에서 융합해 이미지 캡션을 생성하고, MS-COCO 및 Flickr30K에서 최신 성능(state-of-the-art)을 달성한다.

ABSTRACT

Automatically generating a natural language description of an image has attracted interests recently both because of its importance in practical applications and because it connects two major artificial intelligence fields: computer vision and natural language processing. Existing approaches are either top-down, which start from a gist of an image and convert it into words, or bottom-up, which come up with words describing various aspects of an image and then combine them. In this paper, we propose a new algorithm that combines both approaches through a model of semantic attention. Our algorithm learns to selectively attend to semantic concept proposals and fuse them into hidden states and outputs of recurrent neural networks. The selection and fusion form a feedback connecting the top-down and bottom-up computation. We evaluate our algorithm on two public benchmarks: Microsoft COCO and Flickr30K. Experimental results show that our algorithm significantly outperforms the state-of-the-art approaches consistently across different evaluation metrics.

연구 동기 및 목표

• 시맨틱 어텐션을 활용하여 상향식(top-down)과 하향식(bottom-up) 캡션 생성 접근 방식 간의 격차를 고무하고 해결한다.
• 의미적으로 의미 있는 개념에 주목하고 이를 전역 이미지 특징과 캡션 생성 과정에서 융합하는 모델을 개발한다.
• 표준 벤치마크에서 향상된 캡션 품질을 입증하고 어텐션 동작 및 속성 예측을 분석한다.

제안 방법

• 이미지로부터 CNN의 전역 시각 특징과 탐지된 시각 속성 집합(A_i)을 모두 추출한다.
• 이전 단어를 조건으로 속성을 선택하는 입력 어텐션 메커니즘(alpha_t^i)을 갖 는 LSTM/RNN을 사용해 캡션을 생성한다.
• 참여한 속성과 현재 RNN 상태에 단어 예측을 조건화하는 출력 어텐션 메커니즘(beta_t^i)을 도입한다.
• 쿼타티브? bilinear/embedding 기반 투사로 어텐션 점수를 계산하여 입력 및 출력에 대해 속성 임베딩의 가중합을 산출하고 이를 순환 상태와 결합한다.
• 완전하고 희소한 어텐션을 속성 전체에 걸쳐 촉진하는 정규화 항(g(alpha), g(beta))을 포함한 음의 로그 가능도(negative log-likelihood) 목적함수로 엔드투엔드 학습한다.
• 비모수(non-parametric)(약하게 라벨링된 이미지를 사용한 k-NN) 및 모수적 방법(ranking loss 다중 라벨 분류기 및 Fully Convolutional Networks, FCN)을 통해 속성을 예측한다.

실험 결과

연구 질문

• RQ1 탐지된 시각 개념에 대한 시맨틱 어텐션이 순수한 상향식(top-down)이나 하향식(bottom-up) 방식보다 이미지 캡션 생성을 개선할 수 있는가?
• RQ2 입력 및 출력 속성 어텐션을 어떻게 설계하여 RNN 상태 업데이트와 단어 예측에 최적의 영향을 미치게 할 수 있는가?
• RQ3 다른 속성 예측 전략(k-NN, RK, FCN)을 사용하는 것이 캡션 품질에 어떤 영향을 미치는가?
• RQ4 전역 특징과 시맨틱하게 주목된 속성을 결합하면 BLEU, METEOR, ROUGE-L, CIDEr 등 표준 지표에서 더 좋은 결과를 얻을 수 있는가?

주요 결과

• 시맨틱 어텐션 모델은 여러 지표에 걸쳐 MS-COCO 및 Flickr30K에서 최첨단 방법보다 훨씬 우수한 성능을 보인다.
• 입력 및 출력 메커니즘을 통한 시각 속성에 대한 어텐션은 캡션 품질을 향상시키며, 이들의 결합이 최상의 결과를 낳는다.
• FCN 기반 속성 예측은 랭킹 손실이나 k-NN 접근법에 비해 캡션 성능에 미치는 영향 면에서 더 강력한 속성을 제공하는 경향이 있다.
• 상위 3개의 주목된 속성을 사용하는 것이 단순 최대값이나 연결보다 융합 전략 중 종종 최상의 성능을 보인다.
• 정답 시각 속성(ground-truth visual attributes)은 상한을 제공하며 상당한 잠재적 이득을 보여 주며, 속성 품질이 캡션 품질에 크게 영향을 미친다는 것을 시사한다.