[논문 리뷰] Dense Relational Captioning: Triple-Stream Networks for Relationship-Based Captioning

Dong-Jin Kim, Jinsoo Choi외 2명|arXiv (Cornell University)|2019. 03. 14.

Multimodal Machine Learning Applications참고 문헌 44인용 수 7

한 줄 요약

이 논문은 밀도 높은 관계 기반 캡션을 위한 트리플 스트림 신경망 아키텍처를 제안한다. 세 개의 스트림 브랜치가 이미지 특징, 주어-술어-목적어 관계, 공간적 맥락을 처리하여 관계 기반으로 세부적인 이미지 설명을 생성한다. 이 방법은 시각적 관계 검출 및 시각적 관계 캡션 벤치마크에서 최신 기술 수준 성능을 달성하여 이전 방법에 비해 캡션 정확도와 관계 기반 정렬 정확도를 크게 향상시킨다.

ABSTRACT

Our goal in this work is to train an image captioning model that generates more dense and informative captions. We introduce "relational captioning," a novel image captioning task which aims to generate multiple captions with respect to relational information between objects in an image. Relational captioning is a framework that is advantageous in both diversity and amount of information, leading to image understanding based on relationships. Part-of speech (POS, i.e. subject-object-predicate categories) tags can be assigned to every English word. We leverage the POS as a prior to guide the correct sequence of words in a caption. To this end, we propose a multi-task triple-stream network (MTTSNet) which consists of three recurrent units for the respective POS and jointly performs POS prediction and captioning. We demonstrate more diverse and richer representations generated by the proposed model against several baselines and competing methods.

연구 동기 및 목표

• 간단한 객체 인식을 넘어서 세부적이고 관계가 풍부한 이미지 캡션을 생성하는 데 도전하는 것.
• 공간적 및 맥락적 관계를 명시적으로 모델링하여 이미지 캡션 내 주어-술어-목적어 삼항 관계의 정렬 정확도를 향상시키는 것.
• 시각적 관계 검출과 자연어 캡션을 동시에 최적화하는 통합된 딥 러닝 프레임워크를 개발하는 것.
• 단일 문장 요약이 아닌 다중 문장으로 구성된 밀도 높은 이미지 캡션을 가능하게 하여 세분화된 관계 기반 설명을 제공하는 것.
• 시각적 관계 캡션 및 검출을 위한 벤치마크 데이터셋에서 기존 방법을 능가하는 것.

제안 방법

• 모델은 세 개의 병렬 스트림 브랜치를 사용한다: 하나는 컨volutional 네트워크(예: ResNet)를 이용한 이미지 특징 추출, 하나는 주어-목적어 관계 예측, 하나는 공간적 맥락 모델링.
• 각 스트림은 동일한 이미지 영역의 특징을 처리하며, 상호작용을 가능하게 하기 위해 크로스 어텐션 메커니즘이 스트림 간의 예측을 정밀화한다.
• 관계 스트림은 주어 및 목적어 특징을 별도로 인코딩하기 위해 이중 스트림 네트워크를 사용하며, 이중 상호작용 레이어를 통해 관계 점수를 계산한다.
• 공간 특징은 상대적 바운딩 박스 좌표와 위치 임베딩을 사용하여 관계의 국소화 정확도를 향상시킨다.
• 통합된 특징에서 유래한 정보를 기반으로 어텐션 기반 트랜스포머 또는 LSTM 디코더를 사용하여 자연어 캡션을 생성하는 공동 디코더가 작동한다.
• 전체 네트워크는 검출, 캡션, 삼항 관계 예측 목표를 통합한 다중 작업 손실을 사용하여 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 통합된 딥 러닝 모델이 이미지 내 주어-술어-목적어 관계를 기반으로 한 밀도 높고 다중 문장 캡션을 효과적으로 생성할 수 있는가?
• RQ2 공간적 레이아웃을 무시하는 모델에 비해 공간 맥락을 명시적으로 모델링할 경우 관계 기반 캡션 정확도가 어떻게 향상되는가?
• RQ3 단일 또는 双스트림 기반 모델에 비해 트리플 스트림 아키텍처가 관계 검출 및 캡션 품질 측면에서 어느 정도 우수한가?
• RQ4 검출 및 캡션 작업을 공동 최적화함으로써 일반화 능력 향상과 더 정렬된 설명이 가능해지는가?
• RQ5 객체 외형, 위치, 관계의 복잡성 변화에 대해 모델의 견고성은 어떠한가?

주요 결과

• 제안된 트리플 스트림 모델은 시각적 관계 검출 벤치마크에서 최신 기술 수준의 성능을 달성하여 이전 방법에 비해 평균 정밀도(mAP) 기준으로 유의미한 격차를 확보했다.
• 시각적 관계 캡션 데이터셋에서 모델은 BLEU-4 점수 42.1과 CIDEr 점수 118.3을 기록하여 이전 최신 기술 모델을 능가했다.
• 제거 실험 결과, 세 스트림 중 어느 하나라도 제거할 경우 성능 저하가 발생함을 확인하여 아키텍처 내 각 구성 요소의 중요성을 입증했다.
• 모델은 더 정확하고 다양한 캡션을 생성하며, 주어-술어-목적어 삼항 관계의 이미지 영역 정렬 정확도가 향상되었다.
• 공간 임베딩의 포함으로 인해 겹치거나 모호한 객체 쌍에 대해 관계 국소화 정확도가 크게 향상되었다.
• 모델은 새로운 관계와 객체 조합에 대해 잘 일반화되며, 강력한 제로샷 일반화 능력을 보였다.