[논문 리뷰] CapWAP: Captioning with a Purpose

Adam Fisch, Kenton Lee외 3명|arXiv (Cornell University)|2020. 11. 09.

Multimodal Machine Learning Applications참고 문헌 54인용 수 5

한 줄 요약

이 논문은 질문-답변(QA) 모델을 보상 신호로 사용하여 특정 사용자 정보 필요에 맞게 캡션을 최적화하는 새로운 이미지 캡션 프레임워크인 CapWAP을 소개한다. 이미지-질문-답변 삼중체로 훈련하면서 정확한 QA를 가능하게 하는 캡션을 보상으로 삼아, 일반적인 캡션 모델보다 더 목적 중심이며 정보가 풍부한 캡션을 생성한다. 이는 여러 데이터셋에서 후속 QA 성능을 크게 향상시킨다.

ABSTRACT

The traditional image captioning task uses generic reference captions to provide textual information about images. Different user populations, however, will care about different visual aspects of images. In this paper, we propose a new task, Captioning with a Purpose (CapWAP). Our goal is to develop systems that can be tailored to be useful for the information needs of an intended population, rather than merely provide generic information about an image. In this task, we use question-answer (QA) pairs---a natural expression of information need---from users, instead of reference captions, for both training and post-inference evaluation. We show that it is possible to use reinforcement learning to directly optimize for the intended information need, by rewarding outputs that allow a question answering model to provide correct answers to sampled user questions. We convert several visual question answering datasets into CapWAP datasets, and demonstrate that under a variety of scenarios our purposeful captioning system learns to anticipate and fulfill specific information needs better than its generic counterparts, as measured by QA performance on user questions from unseen images, when using the caption alone as context.

연구 동기 및 목표

• 일반적인 이미지 캡션의 한계, 즉 사용자 맞춤 정보 필요를 예측하지 못하는 점을 해결하기 위해.
• 캡션을 사용자 질문을 사전에 예측하는 최적화의 직접적 과제로 재정의하는 새로운 과제인 '목적 있는 캡션(CapWAP)'을 제안하기 위해.
• QA 성능을 보상 신호로 사용할 경우, 사용자 질문에 대한 정답을 더 잘 지원하는 캡션을 생성할 수 있음을 입증하기 위해.
• 합성 사전 훈련이 강화학습 기반 캡션의 정책 수렴과 유창성 향상에 기여함을 보여주기 위해.

제안 방법

• 보상은 생성된 캡션을 맥락으로 사용하여 QA 모델이 질문에 정확하게 답변할 수 있는지에 기반한 강화학습 프레임워크를 사용한다.
• 고정된 강력한 QA 모델을 사용하여, 생성된 캡션이 사용자 질문 분포에서 샘플된 질문들에 대해 정확한 답변을 지원하는지 평가한다.
• 훈련 목표는 동일한 분포에서 유래한 훈련 QA 쌍과 동일한 분포에서 추출된 질문에 대해 QA 모델이 정확하게 답변할 확률을 최대화하는 것이다.
• 캡션 공간의 고보상 영역에서 정책을 초기화하기 위해 새로운 합성 사전 훈련 절차(SYN)를 도입하여 샘플 효율성을 향상시키고 희박한 보상 문제를 줄인다.
• 이 방법은 네 가지 VQA 데이터셋(CapGQA, CapVisual7W, CapVizWiz, CapVQA)에 적용되며, 이미지-질문-답변 삼중체를 감독으로 사용하여 CapWAP 데이터셋으로 변환된다.
• 정책 기반 강화학습을 사용해 엔드 투 엔드로 훈련되며, 초기 사전 훈련에는 교차 엔트로피 손실을, 미세 조정에는 QA 기반 보상에 기반한 강화학습을 사용한다.

실험 결과

연구 질문

• RQ1 일반적인 기술적 기술보다 사용자 맞춤 정보 필요를 예측하고 충족시키는 데 초점을 맞춘 이미지 캡션 모델을 훈련시킬 수 있는가?
• RQ2 QA 성능을 보상 신호로 사용할 경우, 기존 캡션보다 실제 사용자 질문에 더 유용한 캡션을 생성할 수 있는가?
• RQ3 합성 사전 훈련이 캡션의 강화학습에서 샘플 효율성과 품질에 어떻게 기여하는가?
• RQ4 CapWAP 접근법은 다양한 사용자 집단과 질문 유형, 특히 실제 사용자가 제기한 장문의 질문까지 얼마나 일반화되는가?
• RQ5 키워드 기반 감시보다 QA 기반 보상 신호가 더 흉측하거나 문맥 어긋나는 캡션 생성을 줄일 수 있는가?

주요 결과

• 합성 사전 훈련을 적용한 CapWAP 모델(RL + SYN)은 CapVisual7W 데이터셋에서 31.3의 F1 점수를 기록하여 기준 모델(MLE)의 14.1 F1 점수를 크게 앞서며 최고 성능을 보였다.
• 시각 장애를 가진 사용자로부터의 실제 질문을 포함한 CapVizWiz 데이터셋에서는 RL + SYN이 22.0 EM과 31.3 F1을 기록하여 복잡하고 장문의 질문에 대해 뛰어난 성능을 보였다.
• QA 모델을 보상으로 사용할 경우, 간단한 키워드 기반 보상보다 모든 데이터셋에서 더 높은 F1 및 EM 점수를 기록했으며, 키워드 기반 보상은 더 많은 헛된 또는 문맥 어긋나는 캡션을 생성했다.
• RL + SYN 모델은 더 자연스러운 형용사 사용 비율(adj%)과 더 풍부한 바이그램 사용량(|V²|)을 유지하여 유창성과 언어 품질 향상을 보였다.
• 제거 실험 결과, QA 모델을 제거하거나 키워드 존재 신호만 사용할 경우 성능이 떨어지며, 이는 보상 신호의 의미적 정확성이 중요하다는 것을 확인한다.
• 일반적인 캡션 기반 모델보다 더 길고 더 기술적인 캡션을 생성하며, 더 높은 형용사 사용률과 어휘 다양성을 보여, 관련 시각적 속성을 더 잘 커버하고 있음을 시사한다.