[논문 리뷰] Relational Reasoning using Prior Knowledge for Visual Captioning

Jingyi Hou, Xinxiao Wu외 4명|arXiv (Cornell University)|2019. 06. 04.

Multimodal Machine Learning Applications참고 문헌 33인용 수 13

한 줄 요약

이 논문은 외부 지식 그래프를 활용하여 사전 학습된 객체 검출기 없이 공리적 및 상관관계 추론을 가능하게 하는 시각적 캡션 생성을 위한 통합 추론 프레임워크를 제안한다. 이전 지식에서 반복적으로 의미적 그래프를 구축하고 그래프 컨volution 네트워크를 통해 이를 정교화함으로써, MS-COCO 및 MSVD 벤치마크에서 최신 기술 수준의 성능을 달성하며, 가림되거나 존재하지 않는 객체를 효과적으로 다룰 수 있다.

ABSTRACT

Exploiting relationships among objects has achieved remarkable progress in interpreting images or videos by natural language. Most existing methods resort to first detecting objects and their relationships, and then generating textual descriptions, which heavily depends on pre-trained detectors and leads to performance drop when facing problems of heavy occlusion, tiny-size objects and long-tail in object detection. In addition, the separate procedure of detecting and captioning results in semantic inconsistency between the pre-defined object/relation categories and the target lexical words. We exploit prior human commonsense knowledge for reasoning relationships between objects without any pre-trained detectors and reaching semantic coherency within one image or video in captioning. The prior knowledge (e.g., in the form of knowledge graph) provides commonsense semantic correlation and constraint between objects that are not explicit in the image and video, serving as useful guidance to build semantic graph for sentence generation. Particularly, we present a joint reasoning method that incorporates 1) commonsense reasoning for embedding image or video regions into semantic space to build semantic graph and 2) relational reasoning for encoding semantic graph to generate sentences. Extensive experiments on the MS-COCO image captioning benchmark and the MSVD video captioning benchmark validate the superiority of our method on leveraging prior commonsense knowledge to enhance relational reasoning for visual captioning.

연구 동기 및 목표

• 가림되거나 작거나 희귀한 객체를 다룰 때 검출기 의존적 시각적 캡션 방법의 한계를 해결하기 위해.
• 실제 세계의 객체-관계 제약 조건과 일치하는 생성된 어휘 용어를 통해 캡션의 의미적 일관성을 향상시키기 위해.
• 시각적 신호가 모호하거나 누락되었을 때 외부 공리적 지식을 활용해 객체 간 관계에 대해 추론할 수 있도록 하기 위해.
• 학습에 사전 학습된 검출기나 시나리오 그래프 애너테이션에 의존하지 않도록 하기 위해.
• 개선된 캡션 생성을 위해 동시에 공리적 추론과 상관관계 추론을 수행하는 통합 추론 프레임워크를 개발하기 위해.

제안 방법

• 이 방법은 외부 지식 그래프(예: Visual Genome)를 사전 지식으로 활용하여 이미지/비디오 영역의 의미적 추론을 이끌어낸다.
• 공리적 추론(영역을 의미 공간으로 매핑)과 상관관계 추론(지식 그래프를 GCN를 통해 인코딩)을 번갈아가며 수행하는 반복적 통합 추론 알고리즘을 도입한다.
• 공리적 추론은 지식 그래프의 제약 조건을 활용해 시각적 영역을 고수준의 의미 개념으로 선택하고 매핑함으로써 의미적 그래프를 형성한다.
• 상관관계 추론은 그래프 컨volution 네트워크(GCN)를 통해 영역 표현을 정교화하여 일관된 텍스트 기반 기술을 생성한다.
• 이 프레임워크는 사전 학습된 객체 검출기나 애너테이션된 시나리오 그래프 없이도 작동하며, 캡션 데이터셋의 약한 지도 학습에만 의존한다.
• 모델은 교대 최적화 전략을 사용해 엔드 투 엔드로 훈련되며, 수렴성을 향상시키고 과적합을 방지한다.

실험 결과

연구 질문

• RQ1 객체 검출기가 가림되거나 크기가 작아 실패할 경우, 외부 공리적 지식이 시각적 캡션 성능 향상에 기여하는가?
• RQ2 검출기 기반 방법과 비교해 통합 공리적 및 상관관계 추론이 생성된 캡션의 의미적 일관성에 어떻게 기여하는가?
• RQ3 지식 그래프 기반 추론 시스템이 MS-COCO 및 MSVD와 같은 표준 벤치마크에서 검출기 의존 모델을 얼마나 뛰어나게 성능을 낼 수 있는가?
• RQ4 사전 학습된 검출기 의존성을 제거하면 도메인 이동이 있는 다양한 도메인 간 일반화 능력이 향상되는가?
• RQ5 각 구성 요소인 공리적 추론과 상관관계 추론이 총합 캡션 성능에 기여하는 정도는 어느 정도인가?

주요 결과

• MS-COCO 벤치마크에서 제안된 방법은 CIDEr 점수 117.3을 기록하여 이전 최신 기술 수준의 GCN-LSTM(117.1) 및 KMSL(110.3)을 초월한다.
• MSVD 영상 캡션 벤치마크에서 이 방법은 CIDEr 점수 89.6을 기록하여 SCN(77.7), GRU-EVE(78.1), Up-Down(72.2)을 크게 앞서며 성능을 뛰어나게 한다.
• 제거 실험 결과, 공리적 추론을 제거할 경우 성능 저하가 발생하여 B@4는 43.7로, CIDEr는 70.5로 떨어지며, 이는 개념 선택과 의미 일치에 있어 핵심적인 역할을 한다는 것을 시사한다.
• 상관관계 추론(GCN 모듈)를 제거할 경우 B@4는 50.8로, CIDEr는 85.4로 떨어지며, 이는 그래프 인코딩이 표현 정교화에 필수적임을 증명한다.
• 반복적 교대 알고리즘은 세 번의 반복 후 수렴하며, CIDEr 및 B@4 점수는 정점에 도달한 후 과적합으로 인해 감소함을 확인하여 훈련 전략의 효과성을 입증한다.
• 이 방법은 도메인 간 이동이 있는 상황에서도 더 나은 일반화 능력을 보이며, GRU-EVE와 같은 검출기 기반 모델조차도 도메인 갭이 존재할 때에도 성능에서 앞서는 것으로 나타났다.