[논문 리뷰] Clue: Cross-modal Coherence Modeling for Caption Generation

Malihe Alikhani, Piyush Sharma외 3명|arXiv (Cornell University)|2020. 05. 02.

Multimodal Machine Learning Applications참고 문헌 39인용 수 6

한 줄 요약

이 논문은 이미지 캡션 생성을 위한 다중모odal 일관성 모델링 프레임워크인 Clue를 소개한다. 이는 시각적 내용 기반의 일관성 관계(예: Visible, Story, Subjective 등)를 활용하여 캡션의 품질과 일관성을 향상시킨다. 저자들은 이러한 관계를 사용하여 10,000개의 이미지-캡션 쌍을 주석 처리하고, 일관성 인식 캡션 모델을 훈련시켜, 일관성 무시 모델 대비 인간 평가에서 훨씬 높은 품질과 선호도를 기록했다.

ABSTRACT

We use coherence relations inspired by computational models of discourse to study the information needs and goals of image captioning. Using an annotation protocol specifically devised for capturing image--caption coherence relations, we annotate 10,000 instances from publicly-available image--caption pairs. We introduce a new task for learning inferences in imagery and text, coherence relation prediction, and show that these coherence annotations can be exploited to learn relation classifiers as an intermediary step, and also train coherence-aware, controllable image captioning models. The results show a dramatic improvement in the consistency and quality of the generated captions with respect to information needs specified via coherence relations.

연구 동기 및 목표

• 대규모 이미지 캡션 생성에서의 내용 및 맥락 오류를 해결하기 위해 다중모달 일관성 관계를 모델링하는 것.
• 다중모달 커뮤니케이션에서 이미지-텍스트 일관성 관계를 포괄적으로 기록하기 위한 체계적 주석 프로토콜을 개발하는 것.
• 특정 정보 요구에 부합하는 캡션을 생성할 수 있도록 일관성 인식 캡션 모델을 훈련하는 것.
• 미래 연구를 위한 다중모달 일관성 및 제어된 생성 분야의 기여를 위해 Clue 데이터셋을 공개하는 것.
• 일관성 인식 캡션 생성이 기존 모델 대비 인간 평가 기반의 품질과 선호도를 향상시킨다는 것을 입증하는 것.

제안 방법

• Conceptual Captions와 Open Images에서 유래한 10,000개의 이미지-캡션 쌍을, Visible, Meta, Subjective, Story, Identification, Other의 여섯 가지 일관성 관계를 위한 맞춤형 프로토콜을 사용해 주석 처리한다.
• 논의 이론에 영감을 얻은 다중모달 일관성 관계를 정의하고 형식화한다. 예를 들어 Visible(시각적 내용 기반), Story(이미지 내용을 초월한 서사적 전개)와 같은 관계이다.
• 시각 및 텍스트 인코더에서 유도된 다중모달 특징을 사용하여 이미지와 캡션 간의 일관성 관계를 예측하는 분류기 모델을 훈련시킨다.
• 지정된 일관성 관계(예: 'Story' 캡션 생성) 기반으로 출력을 제어할 수 있는 조건부 메커니즘을 갖춘 캡션 모델을 피지테이닝한다.
• 인간 평가 및 자동 평가 지표를 활용하여, 일관성 인식 모델과 일관성 무시 모델 간의 품질, 관련성, 선호도를 비교한다.
• 재현 가능성을 높이고 향후 연구를 지원하기 위해 Clue 데이터셋과 코드를 공개한다.

실험 결과

연구 질문

• RQ1 논의 기반의 일관성 관계를 체계적으로 이미지-텍스트 쌍에 적용하여 정보 수준의 추론을 모델링할 수 있는가?
• RQ2 다양한 일관성 관계(예: Visible, Story, Subjective 등)가 생성된 캡션의 내용과 구조에 어떤 영향을 미치는가?
• RQ3 이미지와 캡션 간의 일관성 관계를 높은 정확도로 예측할 수 있는 모델을 훈련시킬 수 있는가?
• RQ4 특정 일관성 관계에 따라 캡션 생성을 조절하면 인간 평가 기반의 캡션 품질과 일관성이 향상되는가?
• RQ5 일관성 인식 모델이 인간 선호도 및 품질 평가에서 표준 모델보다 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• 일관성 인식 캡션 모델은 인간 비교에서 68.2%의 선호도를 기록했으며, 이는 일관성 무시 모델(31.8% 선호도)에 비해 유의미하게 높은 성능을 보였다.
• 인간 평가자들은 일관성 인식 모델의 캡션 품질을 3.44/5로 평가했고, 일관성 무시 모델은 2.83/5로 평가되었으며, 통계적으로 유의미한 차이가 있었다(p < 0.05).
• 캡션의 관련성은 유사하게 평가되었으며(4.43 대비 4.40), 이는 일관성 인식 모델이 관련성을 유지하면서도 품질을 향상시킨다는 것을 시사한다.
• 인간 평가에서의 성과에도 불구하고, CIDEr 점수는 향상되지 않았다(0.958 대비 0.964), 이는 기준 캡션들이 훈련 데이터와 동일한 일관성 분포를 반영하기 때문이다.
• Clue 데이터셋은 이전 데이터셋에서 히퍼니미제이션으로 인해 포착되지 않았던 추가적인 일관성 관계인 Identification(예: 사람 또는 브랜드 이름 지정)를 드러냈다.
• 본 연구는 일관성 모델링이 특히 복잡하거나 서사 중심의 기술에 대해 더 일관성 있고 맥락에 부합하며 인간이 선호하는 캡션 생성을 가능하게 한다는 것을 입증한다.