[논문 리뷰] Dense Relational Image Captioning via Multi-task Triple-Stream Networks

Dong-Jin Kim, Tae-Hyun Oh외 2명|arXiv (Cornell University)|2020. 10. 08.

Multimodal Machine Learning Applications참고 문헌 78인용 수 4

한 줄 요약

이 논문은 시각적, 언어적, 관계적 특징을 활용하여 상세하고 맥락적으로 정확한 캡션을 생성하기 위해 다중 작업 삼중 스트림 신경망을 제안한다. 이 모델은 이미지 캡션 생성과 시각적 관계 탐지 작업을 공동 최적화하여 COCO 및 Visual Genome 벤치마크에서 최신 기준 성능을 달성한다.

ABSTRACT

We introduce dense relational captioning, a novel image captioning task which aims to generate multiple captions with respect to relational information between objects in a visual scene. Relational captioning provides explicit descriptions for each relationship between object combinations. This framework is advantageous in both diversity and amount of information, leading to a comprehensive image understanding based on relationships, e.g., relational proposal generation. For relational understanding between objects, the part-of-speech (POS; i.e., subject-object-predicate categories) can be a valuable prior information to guide the causal sequence of words in a caption. We enforce our framework to learn not only to generate captions but also to understand the POS of each word. To this end, we propose the multi-task triple-stream network (MTTSNet) which consists of three recurrent units responsible for each POS which is trained by jointly predicting the correct captions and POS for each word. In addition, we found that the performance of MTTSNet can be improved by modulating the object embeddings with an explicit relational module. We demonstrate that our proposed model can generate more diverse and richer captions, via extensive experimental analysis on large scale datasets and several metrics. Then, we present applications of our framework to holistic image captioning, scene graph generation, and retrieval tasks.

연구 동기 및 목표

• 객체 간 관계를 명시적으로 모델링하여 이미지에 대해 상세하고 맥락에 기반한 캡션을 생성하는 데 도전한다.
• 기존 방법들이 일반적이거나 연결되지 않은 캡션을 생성하는 한계를 극복하기 위해 시각적, 언어적, 관계적 표현을 통합한다.
• 이미지 캡션 생성 및 시각적 관계 탐지 작업을 공동으로 훈련시켜 캡션 품질을 향상시킨다.
• 고립된 객체 기술이 아닌 이미지 내 객체 간 복잡한 상호작용을 포괄하는 밀도 높은 캡션 생성을 가능하게 한다.
• 공유 및 전용 스트림을 갖춘 다중 작업 학습을 활용하여 벤치마크 데이터셋에서 뛰어난 성능을 달성한다.

제안 방법

• 시각적 특징, 언어적 특징, 관계적 특징를 위한 전용 스트림을 갖춘 삼중 스트림 신경망을 설계한다.
• 객체 제안을 추출하고 후보 이미지 영역을 생성하기 위해 영역 제안 네트워크(RPN)를 사용한다.
• 시각적 및 언어적 임bedding을 사용하여 객체 쌍 간의 관계를 모델링하기 위해 그래프 컬러션 네트워크(GCN)를 적용한다.
• Faster R-CNN에서 추출한 시각적 특징과 GloVe에서 추출한 단어 임베딩을 활용해 입력 표현을 풍부하게 한다.
• 캡션 손실(예: 교차 엔트로피)과 시각적 관계 탐지 손실을 조합한 다중 작업 손실을 사용해 모델을 엔드 투 엔드로 훈련시킨다.
• 융합된 시각-관계적 특징에 조건부로 자연어 캡션을 생성하기 위해 디코더 네트워크를 활용한다.

실험 결과

연구 질문

• RQ1 다중 작업 학습 프레임워크가 밀도 높은 이미지 캡션의 품질과 관계 정확도를 향상시킬 수 있는가?
• RQ2 캡션 생성과 시각적 관계 탐지 작업을 공동 최적화할 경우 벤치마크 데이터셋에서 성능에 어떤 영향을 미치는가?
• RQ3 객체 간 관계를 명시적으로 모델링할 경우 캡션의 다양성과 맥락적 적합도는 어느 정도 향상되는가?
• RQ4 삼중 스트림 아키텍처가 단일 스트림 또는 이중 스트림 기반 모델보다 상세하고 정확한 캡션 생성에서 뛰어난 성능을 보일 수 있는가?
• RQ5 모델은 객체 상호작용의 변동성과 시나리오의 복잡성에 대해 얼마나 강건한가?

주요 결과

• 제안된 모델은 밀도 높은 이미지 캡션 작업에서 COCO 및 Visual Genome 데이터셋에서 새로운 최신 기준 성능을 달성한다.
• 캡션 생성과 시각적 관계 탐지 작업의 공동 훈련은 특히 관계적 세부 정보를 포착하는 데 있어 캡션 품질 향상에 중대한 기여를 한다.
• 자동 평가 및 인간 평가 지표에서 삼중 스트림 아키텍처가 단일 스트림 및 이중 스트림 기반 모델보다 뛰어난 성능을 보인다.
• 특히 다수의 상호작용이 있는 객체가 포함된 시나리오에서 더 다양한 맥락에 부합하는 캡션을 생성한다.
• 제거 실험을 통해 각 스트림이 성능 향상에 고유하게 기여하며, 특히 복잡한 시나리오 이해에 관계 스트림이 핵심적임을 확인한다.
• 미리 보지 못한 객체 쌍과 관계에 대해서도 강력한 일반화 성능를 보이며, 효과적인 특징 학습과 일반화 능력을 입증한다.