[논문 리뷰] Towards Accurate Text-based Image Captioning with Content Diversity Exploration

Guanghui Xu, Shuaicheng Niu외 4명|arXiv (Cornell University)|2021. 04. 23.

Multimodal Machine Learning Applications참고 문헌 49인용 수 4

한 줄 요약

이 논문은 텍스트 기반 이미지 캡션 생성을 위한 새로운 방법인 Anchor-Captioner를 제안한다. 이 방법은 먼저 핵심 텍스트 토큰(앵커)을 식별하고, 이를 기반으로 앵커 중심 그래프(ACG)를 구성한 후, 이러한 ACG를 사용해 다중 뷰 캡션 생성을 유도한다. 이는 다양한 세밀한 캡션을 생성하는 데에 효과적이며, TextCaps에서 이전 SOTA보다 CIDEr 점수를 6점 향상시켜 최신 기준 성능을 달성한다.

ABSTRACT

Text-based image captioning (TextCap) which aims to read and reason images with texts is crucial for a machine to understand a detailed and complex scene environment, considering that texts are omnipresent in daily life. This task, however, is very challenging because an image often contains complex texts and visual information that is hard to be described comprehensively. Existing methods attempt to extend the traditional image captioning methods to solve this task, which focus on describing the overall scene of images by one global caption. This is infeasible because the complex text and visual information cannot be described well within one caption. To resolve this difficulty, we seek to generate multiple captions that accurately describe different parts of an image in detail. To achieve this purpose, there are three key challenges: 1) it is hard to decide which parts of the texts of images to copy or paraphrase; 2) it is non-trivial to capture the complex relationship between diverse texts in an image; 3) how to generate multiple captions with diverse content is still an open problem. To conquer these, we propose a novel Anchor-Captioner method. Specifically, we first find the important tokens which are supposed to be paid more attention to and consider them as anchors. Then, for each chosen anchor, we group its relevant texts to construct the corresponding anchor-centred graph (ACG). Last, based on different ACGs, we conduct multi-view caption generation to improve the content diversity of generated captions. Experimental results show that our method not only achieves SOTA performance but also generates diverse captions to describe images.

연구 동기 및 목표

• 텍스트 기반 이미지 캡션(텍스트캡)에서 단일 글로벌 캡션 방법의 한계를 해결하기 위해, 복잡하고 세밀한 텍스트 및 시각 정보를 포착하지 못하는 문제를 해결한다.
• 이미지의 다양한 부분에 초점을 맞춘 다수의 캡션을 생성함으로써 캡션의 정확도와 다양성을 향상시킨다.
• 캡션 생성에 가장 유용한 텍스트 토큰을 식별하는 문제를 해결한다.
• 다양한 텍스트 요소 간의 복잡한 관계를 모델링하여 더 나은 캡션 생성을 가능하게 한다.
• 다양한 뷰의 캡션 생성을 유도하기 위해 구조화된 텍스트 그룹(ACG)을 활용하는 다중 뷰 캡션 생성을 가능하게 한다.

제안 방법

• 의미적 및 시각적 맥락을 기반으로 토큰 중요도를 평가하는 앵커 예측기(Anchor Predictor)를 통해 앵커를 선별한다.
• 선택된 각 앵커를 기반으로 순환 신경망을 사용해 관련된 텍스트 토큰들과의 관계를 모델링하는 앵커 중심 그래프(ACG)를 구성한다.
• 각 이미지당 여러 개의 ACG를 생성하며, 각각은 별도의 영역 또는 개념을 나타내어 집중적인 캡션 생성을 가능하게 한다.
• 전체 시각적 특징을 사용해 먼저 시각 특화 캡션을 생성한다.
• 각 ACG를 활용해 시각 캡션을 텍스트 특화 캡션으로 보완함으로써 정확도와 세부 정보를 향상시킨다.
• 앵커 캡션 모듈(AnCM)은 ACG를 활용해 다수의 뷰에서 다양하고 맥락에 기반한 캡션을 생성한다.

실험 결과

연구 질문

• RQ1 복잡한 장면에서 다수의 텍스트를 포함한 이미지에서 캡션 생성에 가장 정보성 있는 텍스트 토큰을 어떻게 식별할 수 있는가?
• RQ2 이미지 내 다양한 텍스트 요소 간의 복잡한 관계를 어떻게 모델링하여 캡션 품질을 향상시킬 수 있는가?
• RQ3 단일 글로벌 캡션 대신, 이미지의 서로 다른 부분에 초점을 맞춘 다수의 다양한 캡션을 생성할 수 있는가?
• RQ4 어떻게 텍스트 정보를 일관성 있는 그룹(ACG)으로 구조화하여 다중 뷰 캡션 생성을 유도할 수 있는가?
• RQ5 ACG 기반 캡션 생성은 텍스트 기반 이미지 캡션의 정확도와 다양성 향상에 얼마나 기여하는가?

주요 결과

• 제안된 Anchor-Captioner는 TextCaps 데이터셋에서 CIDEr 점수 95.5를 기록하여 이전 SOTA 방법보다 6점 향상시켰다.
• 제거 실험을 통해 앵커 제안 모듈(AnPM)에서 예측한 ACG를 사용할 경우 기준 모델 대비 성능 향상이 뚜렷하게 확인되었다.
• 평균적으로 미지 토큰($<$unk$>$) 수를 26.85% 감소시켜 더 나은 텍스트 커버리지와 캡션 정제 능력을 보였다.
• 동일한 ACG 입력을 받더라도 AnCM는 M4C-Captioner를 능가하는 성능을 보여, 자체적으로 뛰어난 캡션 생성 능력을 지녔음을 입증했다.
• ACG 사용으로 인해 $<$unk$>$ 토큰을 포함한 캡션 비율이 66.39% 감소하여 OCR 콘텐츠 처리 능력 향상을 입증했다.
• 시각화 결과, 기존 모델 대비 더 다양한 세밀한 캡션을 생성하며 더 많은 OCR 토큰을 커버하는 것으로 확인되었다.