[논문 리뷰] BreakingNews: Article Annotation by Image and Text Processing

Arnau Ramisa, Fei Yan외 2명|arXiv (Cornell University)|2016. 03. 23.

Multimodal Machine Learning Applications참고 문헌 70인용 수 17

한 줄 요약

이 논문은 이미지, 텍스트, 풍부한 메타데이터를 포함한 약 100K건의 뉴스 기사로 구성된 대규모 데이터셋인 BreakingNews를 소개하고, 소스 탐지, 지리적 위치 특정, 인기도 예측, 기사 일러스트레이션 등의 다중모달 작업을 위한 딥러닝 기법을 제안한다. 이는 작업 간 공유되는 특징을 가진 적응형 CNN을 활용하며, 일러스트레이션에는 심층 공통 상관 분석(DCCA)을, 지리적 위치 특정에는 대단위 거리 기반 손실 함수를 적용하여 뛰어난 성능을 달성한다—특히 소스 탐지 및 지리적 위치 특정에서 두드러진 성과를 보이며, 이미지-텍스트 간의 약한 정렬로 인해 캡션 생성 과제에서 도전 과제가 드러나 있다.

ABSTRACT

Building upon recent Deep Neural Network architectures, current approaches lying in the intersection of computer vision and natural language processing have achieved unprecedented breakthroughs in tasks like automatic captioning or image retrieval. Most of these learning methods, though, rely on large training sets of images associated with human annotations that specifically describe the visual content. In this paper we propose to go a step further and explore the more complex cases where textual descriptions are loosely related to the images. We focus on the particular domain of News articles in which the textual content often expresses connotative and ambiguous relations that are only suggested but not directly inferred from images. We introduce new deep learning methods that address source detection, popularity prediction, article illustration and geolocation of articles. An adaptive CNN architecture is proposed, that shares most of the structure for all the tasks, and is suitable for multitask and transfer learning. Deep Canonical Correlation Analysis is deployed for article illustration, and a new loss function based on Great Circle Distance is proposed for geolocation. Furthermore, we present BreakingNews, a novel dataset with approximately 100K news articles including images, text and captions, and enriched with heterogeneous meta-data (such as GPS coordinates and popularity metrics). We show this dataset to be appropriate to explore all aforementioned problems, for which we provide a baseline performance using various Deep Learning architectures, and different representations of the textual and visual features. We report very promising results and bring to light several limitations of current state-of-the-art in this kind of domain, which we hope will help spur progress in the field.

연구 동기 및 목표

• 뉴스 기사에서 이미지-텍스트 관계가 약하게 정렬되어 있고, 텍스트 내용이 이미지에서 직접적으로 유추되지 않는다는 도전 과제를 해결하기 위해.
• 다양한 다중모달 뉴스 작업 간 다중태스크 및 전이 학습이 가능한 통합된 딥러닝 프레임워크를 개발하기 위해.
• 표준 이미지 캡션화를 넘어서 시각-언어 이해 연구를 지원하기 위해, 대규모이고 풍부하게 주석이 달린 벤치마크 데이터셋( BreakingNews)을 구축하기 위해.
• 실제 뉴스 기사 이해 과제에서 복잡하고 미묘한 시각-언어적 상관관계를 가진 복잡한 과제에 대해 딥러닝 모델의 성능을 평가하기 위해.
• 뉴스 미디어에서 느슨하게 연결된 이미지-텍스트 쌍에 적용했을 때 현재 최고 수준의 모델들이 가지는 한계를 규명하기 위해.

제안 방법

• 다양한 작업(소스 탐지, 지리적 위치 특정, 인기도 예측, 일러스트레이션) 간 대부분의 레이어를 공유하는 적응형 CNN 아키텍처를 제안하며, 각 작업의 최종 레이어만 미세조정한다.
• 지구형 공간에서의 GPS 좌표 회귀 성능을 향상시키기 위해 대단위 거리 기반 손실 함수를 신규로 도입한다.
• 기사 일러스트레이션을 위해 시각적 및 텍스트적 표현을 정렬하기 위해 심층 공통 상관 분석(DCCA)을 적용하여 다중모달 간 공유 표현을 학습한다.
• 시각적 특징(VGG19, Places)과 텍스트적 특징(Word2Vec 평균값)을 융합하여 LSTM 네트워크를 사용해 캡션을 생성한다.
• 단일태스크, 다중태스크, 전이 학습 전략을 모두 활용하며, 공유된 완전 연결 레이어의 학습률을 1/10로 조정하여 동시 적응을 줄인다.
• 캡션 생성 및 분류 과제의 입력 표현을 풍부하게 하기 위해 여러 시각적 특징 추출기(VGG19, Places)와 텍스트적 특징(Word2Vec)을 조합한다.

실험 결과

연구 질문

• RQ1 약한 정렬된 이미지-텍스트 쌍을 가진 뉴스 기사에서 공유된 딥러닝 CNN 아키텍처가 다양한 다중모달 작업을 효과적으로 처리할 수 있는가?
• RQ2 대단위 거리 기반 손실 함수는 표준 회귀 손실 함수에 비해 지리적 위치 특정 정확도를 어떻게 향상시키는가?
• RQ3 전이 학습이 소스 탐지나 인기도 예측과 같은 자원이 제한된 과제에서 성능을 얼마나 향상시키는가?
• RQ4 최고 수준의 캡션 생성 모델이 뉴스 이미지에서 성능을 저하시키는 이유는 무엇이며, 이러한 격차를 초래하는 요인들은 무엇인가?
• RQ5 다양한 융합 전략(고정된 특징 대비 종단간 미세조정된 특징)은 느슨하게 정렬된 환경에서 캡션 생성 품질에 어떤 영향을 미치는가?

주요 결과

• 단일태스크 학습이 대부분의 과제에서 최고의 성능을 기록하였으며, 다중태스크 학습보다 우수하여 제안된 과제들 간 공유 표현 학습에서 상호 호환성이 제한됨을 시사한다.
• 전이 학습은 다중태스크 학습을 항상 능가했으며, 소스 탐지에서 인기도 예측으로 전이했을 때는 단일태스크 성능과 동등하거나 이를 초월했다.
• 지리적 위치 특정과 소스 탐지에서 가장 뛰어난 성과를 보였으며, 대단위 거리 기반 손실 함수 덕분에 구형 공간에서 정확한 GPS 좌표 예측이 가능했다.
• 캡션 생성 성능은 여전히 낮게 유지되었으며(BLEU-1: 19.6, METEOR: 5.3), 뉴스 콘텐츠에서 고차원적, 추상적, 간접적인 이미지-텍스트 관계로 인해 큰 도전 과제가 있음을 시사한다.
• CNN 특징의 종단간 미세조정이 캡션 생성 성능 향상에 기여하지 않았으며, 사전 훈련된 시각적 특징가 이미 이 과제에 최적임을 시사한다.
• 약 100K건의 기사와 다양한 메타데이터(GPS, 감성, 주제)를 포함한 BreakingNews 데이터셋은 향후 뉴스 미디어의 시각-언어 이해 연구를 위한 견고한 벤치마크를 제공한다.