[논문 리뷰] Better Captioning with Sequence-Level Exploration

Jia Chen, Qin Jin|arXiv (Cornell University)|2020. 03. 08.

Multimodal Machine Learning Applications참고 문헌 39인용 수 5

한 줄 요약

이 논문은 이미지 및 영상 캡션 생성을 위한 새로운 시퀀스 수준 학습 목표인 SLL-SLE를 제안하며, 캡션 다양성을 극대화하기 위해 시퀀스 수준 탐색 항목을 추가함으로써 모델의 재현율을 향상시킨다. 다양성 정규화를 통해 정밀도와 재현율을 균형 잡음으로써, 이 방법은 MSCOCO 및 TGIF 데이터셋에서 기존 베이스라인보다 CIDEr, METEOR, SPICE 지표에서 우수한 성능을 달성하며 다양성 점수도 향상시킨다.

ABSTRACT

Sequence-level learning objective has been widely used in captioning tasks to achieve the state-of-the-art performance for many models. In this objective, the model is trained by the reward on the quality of its generated captions (sequence-level). In this work, we show the limitation of the current sequence-level learning objective for captioning tasks from both theory and empirical result. In theory, we show that the current objective is equivalent to only optimizing the precision side of the caption set generated by the model and therefore overlooks the recall side. Empirical result shows that the model trained by this objective tends to get lower score on the recall side. We propose to add a sequence-level exploration term to the current objective to boost recall. It guides the model to explore more plausible captions in the training. In this way, the proposed objective takes both the precision and recall sides of generated captions into account. Experiments show the effectiveness of the proposed method on both video and image captioning datasets.

연구 동기 및 목표

• 현재 캡션 생성에서 시퀀스 수준 학습 목표가 정밀도를 우선시하면서 재현율을 간과하는 한계를 규명하는 것.
• 표준 시퀀스 수준 학습을 사용할 경우 모델이 매우 유사하고 다양성이 낮은 캡션을 생성하는 경험적 문제를 해결하는 것.
• 다양하고 의미적으로 일관된 캡션을 탐색함으로써 재현율을 명시적으로 향상시키는 새로운 학습 목표를 제안하는 것.
• 다양성이 캡션 생성에서 재현율의 신뢰할 수 있는 대체 지표임을 입증하고, 모델의 일반화 능력을 향상시키는 것.
• 이미지 및 영상 캡션 생성 벤치마크에서 정밀도와 재현율 양측 모두에 이르는 승리-승리 개선을 달성하는 것.

제안 방법

• 동일한 입력에 대해 생성된 캡션 간의 편집 거리를 극대화하는 시퀀스 수준 탐색 항목을 도입하여 문법적 및 의미적 다양성을 촉진하는 것.
• 표준 시퀀스 수준 학습 손실과 캡션 간 이질성에 기반한 다양성 정규화 항목의 조합으로 새로운 목표를 수립하는 것.
• 편집 거리를 다항식적 대체 지표로 사용하여 캡션 다양성을 측정하고, 훈련 중에 다수의 타당한 캡션 변형을 탐색하도록 모델을 유도하는 것.
• CIDEr/METEOR를 통한 캡션 품질과 다양성을 조합한 보상 신호를 사용하여 강화 학습을 통해 모델을 종합적으로 훈련하는 것.
• 어텐션 메커니즘을 갖춘 인코더-디코더 아키텍처를 사용하여 이미지 및 영상 캡션 생성 작업에 이 방법을 적용하는 것.
• 랜덤 샘플링과 비드 서치 디코딩 전략을 모두 구현하여 추론 방식 간의 강건성과 일반화 능력을 평가하는 것.

실험 결과

연구 질문

• RQ1 캡션 생성에서 표준 시퀀스 수준 학습 목표가 캡션 생성의 재현율 측면을 암묵적으로 간과하는가?
• RQ2 시퀀스 수준 탐색을 통해 캡션 다양성을 향상시키면 재현율 관련 지표에서 측정 가능한 성과 향상이 이루어지는가?
• RQ3 다양성이 캡션 생성에서 재현율의 타당한 대체 지표이며, 시퀀스 수준 목표를 통해 효과적으로 최적화될 수 있는가?
• RQ4 제안된 SLL-SLE 방법은 다양한 데이터셋과 디코딩 전략에서 정밀도와 재현율 양측 모두에 일관된 개선을 이룰 수 있는가?
• RQ5 성능 및 다양성 측면에서 SLL, SLL-ME 및 GAN 기반 접근법과 비교해 볼 때 제안된 방법은 어떻게 성과를 내는가?

주요 결과

• 표준 시퀀스 수준 학습 목표는 이론적으로 일반화된 정밀도를 극대화하는 것과 동일하며, 재현율을 간과함으로써 예측의 다양성이 낮아진다.
• 경험적으로 볼 때, 표준 시퀀스 수준 학습을 사용해 훈련된 모델은 랜덤 샘플링 하에서 낮은 다양성 점수(Div1: 0.06, Div2: 0.81)로 매우 유사한 캡션을 생성한다.
• 제안된 SLL-SLE 방법은 MSCOCO에서 랜덤 샘플링 하에 CIDEr 점수 115.9, 비드 서치 하에 117.2를 기록하며 SLL 및 SLL-ME를 모두 초월한다.
• TGIF 영상 캡션 생성 데이터셋에서 SLL-SLE는 18.8 METEOR, 50.8 CIDEr, 16.6 SPICE 점수를 기록하여 공식 베이스라인 및 이전 최고 성능 방법을 모두 뛰어넘는다.
• SLL 대비 평균 40% 향상된 재현율 대체 지표(Div1: 0.29, Div2: 0.40)를 기록하며 효과적인 탐색을 입증한다.
• 모델은 랜덤 샘플링과 비드 서치 디코딩 양측 모두에서 뛰어난 성능을 유지하여 강건성과 일반화 능력을 입증한다.