[논문 리뷰] Journalistic Guidelines Aware News Image Captioning

Xuewen Yang, Svebor Karaman외 2명|arXiv (Cornell University)|2021. 09. 07.

Multimodal Machine Learning Applications참고 문헌 42인용 수 5

한 줄 요약

이 논문은 템플릿 기반 디코딩 접근 방식을 사용하여 저널리즘 지침을 캡션 생성에 통합함으로써, who, when, where, what, context의 다섯 가지 핵심 요소를 모델링하는 새로운 뉴스 이미지 캡션 생성 모델인 JoGANIC을 제안한다. 장기적 맥락 이해를 위해 명시적 개체 인식 임베딩과 다중 스펜 텍스트 읽기 기법을 통합함으로써, JoGANIC는 GoodNews 및 NYT800K 데이터셋에서 생성 품질과 명시적 개체 정확도 측면에서 기존 최고 수준의 방법들을 뛰어넘는 성능을 보였다.

ABSTRACT

The task of news article image captioning aims to generate descriptive and informative captions for news article images. Unlike conventional image captions that simply describe the content of the image in general terms, news image captions follow journalistic guidelines and rely heavily on named entities to describe the image content, often drawing context from the whole article they are associated with. In this work, we propose a new approach to this task, motivated by caption guidelines that journalists follow. Our approach, Journalistic Guidelines Aware News Image Captioning (JoGANIC), leverages the structure of captions to improve the generation quality and guide our representation design. Experimental results, including detailed ablation studies, on two large-scale publicly available datasets show that JoGANIC substantially outperforms state-of-the-art methods both on caption generation and named entity related metrics.

연구 동기 및 목표

• 기존의 뉴스 이미지 캡션 생성 모델들이 체계적이고 정보적인 캡션을 생성하기 위해 저널리즘 지침을 명시적으로 따르지 않는 점을 보완하기 위해.
• 템플릿 기반 접근 방식을 통해 뉴스 가치가 있는 캡션의 구조적 구성 요소—예를 들어 명시적 개체와 맥락 정보—를 모델링하여 캡션 품질을 향상시키기 위해.
• 긴 텍스트 이해를 향상시키기 위해 장기적인 뉴스 기사에 효과적으로 대응할 수 있도록 다중 스펜 텍스트 읽기 기법을 설계함으로써 캡션 생성에서 장기 맥락 이해를 강화하기 위해.
• 특화된 명시적 개체 인식 임베딩 기법을 통해 캡션 내 명시적 개체의 관련성을 향상시키기 위해.
• 가이드된, 구조 인식 캡션 생성이 더 정확하고 정보가 풍부하며 인간 평가 기준으로도 뛰어난 캡션을 도출할 수 있음을 입증하기 위해.

제안 방법

• JoGANIC는 각 캡션을 who, when, where, what, context의 다섯 가지 저널리즘 구성 요소를 중심으로 구성하는 템플릿 기반 디코딩 프레임워크를 사용한다.
• 모델은 각 이미지-기사 쌍에 대해 캡션 템플릿의 가장 가능성이 높은 활성 구성 요소를 예측함으로써 유도된 생성을 가능하게 한다.
• 기사에서 사람, 조직, 장소와 같은 핵심 명시적 개체를 명시적으로 표현하고 유지하기 위해 명시적 개체 인식 임베딩(Named Entity Embedding, NEE) 모듈을 도입한다.
• 긴 기사들을 여러 스펜으로 나누고, 각 스펜에서 특징을 추출한 후 융합함으로써 장기 맥락 이해를 향상시키기 위해 다중 스펜 텍스트 읽기(Multi-Span Text Reading, MSTR) 메커니즘을 설계한다.
• 이미지 특징과 기사 표현 간에 교차 attention을 사용하는 인코더-디코더 아키텍처를 활용하며, 예측된 템플릿 구성 요소에 따라 유도된 디코딩을 수행한다.
• 디코딩 과정에서는 구성 요소별 블록을 사용하여 저널리즘 기준에 부합하는 유창하고 구조화된 캡션을 생성한다.

실험 결과

연구 질문

• RQ1 저널리즘 캡션 구조를 명시적으로 모델링하는 것이 생성된 뉴스 이미지 캡션의 품질과 정보성 향상에 기여하는가?
• RQ2 명시적 개체 표현을 통합함으로써 뉴스 이미지 캡션의 정확도와 관련성은 어떻게 향상되는가?
• RQ3 표준 순차적 인코딩 대비 다중 스펜 텍스트 읽기 기법이 장기형 뉴스 기사 처리 성능에 얼마나 기여하는가?
• RQ4 템플릿 기반 유도 디코딩이 인간이 애너테이션한 진짜 캡션과의 내용 커버리지 및 유창성 측면에서 더 나은 일치를 이끌어내는가?
• RQ5 제안된 구성 요소들(Named Entity Embedding, MSTR, 템플릿 가이드라인)이 개별적으로나 종합적으로 캡션 생성 성능에 어떤 기여를 하는가?

주요 결과

• JoGANIC+MSTR+NEE는 모든 평가 지표에서 가장 높은 인간 평가 점수를 기록했으며, 문장 품질 점수는 2.99로 베이스라인 Tell 모델(2.92)을 능가하고 진짜 값(3.08)에 가까워졌다.
• 자동 평가 및 인간 평가 지표에서 모두 GoodNews 및 NYT800K 데이터셋에서 최고 수준의 방법들을 뚜렷이 능가하는 성능을 보였다.
• 인간 평가 결과, JoGANIC 변종은 베이스라인 모델보다 이미지 기술의 관련성(2.87 vs. 2.80)과 기사 관련성(2.86 vs. 2.80)에서 높은 평가를 받았다.
• 명시적 개체 인식 임베딩(NEE)의 통합으로 사람과 조직과 같은 핵심 명시적 개체를 포함하는 능력이 향상되었으며, 이는 'Ms. Pedersen'과 'Havens House Museum'을 언급한 캡션을 통해 확인되었다.
• 다중 스펜 텍스트 읽기(MSTR) 메커니즘이 장기 기사의 끝부분에 있는 정보에 접근하고 활용할 수 있도록 해, 보다 완전하고 맥락적으로 정확한 캡션 생성을 가능케 하였다.
• 제거 실험 결과, NEE와 MSTR 모두 성능 향상에 의미 있는 기여를 하며, 전체 JoGANIC+MSTR+NEE 구성이 가장 우수한 성능을 기록하였다.