[논문 리뷰] Stack-Captioning: Coarse-to-Fine Learning for Image Captioning

Jiuxiang Gu, Jianfei Cai외 2명|arXiv (Cornell University)|2017. 09. 11.

Multimodal Machine Learning Applications인용 수 59

한 줄 요약

거친-정교한 다단계 캡션 생성 프레임워크를 중간 감독 및 강화 학습과 함께 제안하여 평가 지표를 최적화하고, MSCOCO에서 최첨단 성과를 달성한다.

ABSTRACT

The existing image captioning approaches typically train a one-stage sentence decoder, which is difficult to generate rich fine-grained descriptions. On the other hand, multi-stage image caption model is hard to train due to the vanishing gradient problem. In this paper, we propose a coarse-to-fine multi-stage prediction framework for image captioning, composed of multiple decoders each of which operates on the output of the previous stage, producing increasingly refined image descriptions. Our proposed learning approach addresses the difficulty of vanishing gradients during training by providing a learning objective function that enforces intermediate supervisions. Particularly, we optimize our model with a reinforcement learning approach which utilizes the output of each intermediate decoder's test-time inference algorithm as well as the output of its preceding decoder to normalize the rewards, which simultaneously solves the well-known exposure bias problem and the loss-evaluation mismatch problem. We extensively evaluate the proposed approach on MSCOCO and show that our approach can achieve the state-of-the-art performance.

연구 동기 및 목표

• 단일 스테이지 디코더로 풍부하고 세밀한 자막을 생성하는 데 따른 어려움을 해결한다.
• 중간 감독을 강제하여 깊은 다단계 캡션 생성에서 소실 기울기를 완화한다.
• 정규화된 중간 보상을 갖는 강화 학습 목표를 통해 노출 편향과 손실-평가 불일치를 줄인다.
• 단계별로 단어 예측을 위한 시각 영역을 점진적으로 정제하기 위해 스택드 어텐션을 활용한다.
• 기준 모델 및 기존 방법과 비교한 MSCOCO에서의 최첨단 성능을 입증한다.

제안 방법

• 하나의 거친 디코더를 따른 다수의 미세 디코더를 갖춘 거친-정교한 인코더-디코더 아키텍처를 구성한다.
• 각 단계가 앞선 단계의 어텐션 가중치와 은닉 상태를 받아 예측을 정제하도록 스택드 어텐션 메커니즘을 사용한다.
• 각 단계에서 교차 엔트로피 손실로 중간 감독을 제공하고, 그런 뒤 단계별 보상을 사용하는 강화 학습 목표로 최적화한다.
• 노출 편향과 손실-평가 불일치를 해결하기 위해 각 단계의 테스트 시 추론 출력과 앞선 단계의 출력을 모두 포함하는 보상 정규화 전략을 정의한다.
• 전역 이미지 특징에서 작동하는 거친 디코더(LSTMcoarse)를 구현하고, 공간적 이미지 영역에 주의를 기울이는 미세 디코더(LSTMi fine)를 구현하며; 시각적 잡음을 점진적으로 걸러내는 스택드 어텐션 모델을 채용한다.

실험 결과

연구 질문

• RQ1 거친-정교한 다단계 캡션 프레임워크가 전통적인 단일 스테이지 디코더에 비해 생성된 설명의 풍부함을 향상시킬 수 있는가?
• RQ2 중간 감독이 깊은 다단계 캡션 모델에서 소실 기울기 문제를 완화하는가?
• RQ3 정규화된 중간 보상을 갖는 강화 학습이 다단계 캡션에서 노출 편향과 평가 지표 정렬 문제를 해결할 수 있는가?
• RQ4 단계 간 스택드 어텐션이 단어 생성을 위한 더 정확하고 서술적인 어텐션 맵을 산출하는가?

주요 결과

• Stack-Cap (C2F)는 교차 엔트로피 및 CIDEr-최적화 RL로 학습될 때 MSCOCO Karpathy 테스트 분할에서 생성 지표 전반에 걸쳐 최고 성능을 달성한다. 예: BLEU-1 78.6, BLEU-2 62.5, BLEU-3 47.9, BLEU-4 36.1, METEOR 27.4, CIDEr 120.4.
• Stack-Cap (XE)는 LSTM, LSTM3 계층 및 어텐션 기반 모델을 포함한 여러 베이스라인을 능가하며, 중간 감독을 통한 거친-정교 학습의 이점을 보여준다.
• SCST를 이용한 CIDEr 직접 최적화는 Stack-Cap의 결과를 더 개선하여 CIDEr 120.4를 달성한다.
• 온라인 MSCOCO 평가에서 Stack-Cap은 최첨단 앙상블에 비해 경쟁력 있는 단일 모델 성능을 보인다.
• 정성적 분석은 주의 맵과 캡션이 단계별로 점진적으로 더 정밀하고 서술적으로 변하는 것을 보여주며, 예를 들어 물체와 관계를 정제된 주의로 식별한다.