[논문 리뷰] Image Captioning Based on a Hierarchical Attention Mechanism and Policy Gradient Optimization

Shiyang Yan, Yuan Xie외 4명|arXiv (Cornell University)|2018. 11. 13.

Multimodal Machine Learning Applications참고 문헌 65인용 수 7

한 줄 요약

이 논문은 전이 학습된 CNN의 전역 특징과 Faster R-CNN 검출을 통한 국소적 개체 특징을 융합하는 계층적 어텐션 메커니즘을 제안하며, GAN과 정책 그래เดียน트 강화 학습 프레임워크를 결합하여 이미지 캡션 생성 성능을 향상시킨다. 이 방법은 빔 서치나 외부 지식 없이도 그리디 디코딩만을 사용하여 MSCOCO에서 최신 기준 성능(SOTA)을 달성하며, 캡션의 일관성과 이미지 일치도를 명시적으로 최적화함으로써 BLEU-1, METEOR, ROUGE-L 지표에서 이전 방법들을 능가한다.

ABSTRACT

Automatically generating the descriptions of an image, i.e., image captioning, is an important and fundamental topic in artificial intelligence, which bridges the gap between computer vision and natural language processing. Based on the successful deep learning models, especially the CNN model and Long Short-Term Memories (LSTMs) with attention mechanism, we propose a hierarchical attention model by utilizing both of the global CNN features and the local object features for more effective feature representation and reasoning in image captioning. The generative adversarial network (GAN), together with a reinforcement learning (RL) algorithm, is applied to solve the exposure bias problem in RNN-based supervised training for language problems. In addition, through the automatic measurement of the consistency between the generated caption and the image content by the discriminator in the GAN framework and RL optimization, we make the finally generated sentences more accurate and natural. Comprehensive experiments show the improved performance of the hierarchical attention mechanism and the effectiveness of our RL-based optimization method. Our model achieves state-of-the-art results on several important metrics in the MSCOCO dataset, using only greedy inference.

연구 동기 및 목표

• 이미지 캡션 생성에서 세밀한 시각적 세부 정보를 포착하기 위해 전역 이미지 특징의 한계를 해결하기 위해.
• RNN 기반 최대우도 학습에서 발생하는 노출 편향을 정책 기반 강화 학습 통합을 통해 극복하기 위해.
• 대조적 학습을 통해 생성된 문장과 이미지 콘텐츠 간의 정렬을 향상시켜 캡션 품질을 향상시키기 위해.
• 빔 서치나 외부 지식과 같은 복잡한 추론 전략에 의존하지 않고도 최신 기준 성능을 달성하기 위해.

제안 방법

• 사전 훈련된 CNN에서 유도한 전역 이미지 특징과 Faster R-CNN 검출을 통해 확보한 국소적 개체 특징을 동시에 활용하는 계층적 어텐션 메커니즘을 도입한다.
• 캡션 생성 과정에서 관련된 이미지 영역을 동적으로 선택하기 위해 전역 및 국소적 특징에 모두 시각적 어텐션을 적용한다.
• 생성된 캡션과 이미지 콘텐츠 간의 일관성을 평가하는 디스크림ิน레이터를 갖춘 조건부 GAN 프레임워크를 적용한다.
• 디스크림ิน레이터에서 유도된 보상 신호를 사용하여 정책 그래디언트 최적화를 수행함으로써 언어의 이산적 성격에도 불구하고 엔드 투 엔드 훈련이 가능하도록 한다.
• 세 단계 훈련 전략을 채택한다: 이미지 인코더와 개체 검출기를 사전 훈련하고, MLE를 통해 캡션 모델을 훈련한 후, 최종적으로 RL로 미세 조정한다.
• 디스크림ิน레이터의 피드백을 조밀한 보상 신호로 활용하여 정책 네트워크를 최적화함으로써 더 정확하고 자연스러운 캡션 생성을 유도한다.

실험 결과

연구 질문

• RQ1 계층적 어텐션 메커니즘을 통해 전역 및 국소 시각적 특징을 융합함으로써 이미지 캡션 생성 성능을 향상시킬 수 있는가?
• RQ2 정책 그래디언트 최적화와 함께 GAN을 통합하면 MLE 기반 학습 대비 노출 편향을 줄이고 캡션 품질을 향상시킬 수 있는가?
• RQ3 캡션-이미지 일관성을 평가하도록 훈련된 디스크림ิน레이터가 RL 기반 캡션 생성을 위한 효과적인 보상 신호로 기능할 수 있는가?
• RQ4 이러한 방법이 빔 서치나 외부 지식 없이도 그리디 디코딩만으로 최신 기준 성능을 달성할 수 있는 정도는 어느 정도인가?

주요 결과

• 제안된 모델은 MSCOCO Karpathy 테스트 세트에서 최신 기준 성능을 달성하였으며, BLEU-1(73.036), METEOR(53.688), ROUGE-L(39.069) 지표에서 이전 방법들을 능가하였다.
• 정성적 분석에서 MLE 기반 베이스라인에 비해 모델이 훨씬 더 정확하고 자연스러운 캡션을 생성함을 확인하였으며, 특히 성별과 같은 세밀한 속성을 보다 잘 포착하였다.
• 계층적 어텐션 메커니즘이 관련 이미지 영역의 국소화를 향상시켰음을 확인하였으며, 생성된 단어의 의미적 콘텐츠와 일치하는 어텐션 맵을 통해 이를 입증하였다.
• 디스크림ิน레이터 기반 보상 신호가 외부 지식이나 빔 서치 없이도 정책 네트워크가 더 일관성 있고 이미지 일치도가 높은 캡션을 생성하도록 효과적으로 이끌었다.
• 외부 지식이나 빔 서치 없이도 현재 최신 기준 방법(Embedding Reward [67])과 경쟁 가능한 성능을 달성하였으며, 이는 훈련 절차의 효과성을 입증한다.