[논문 리뷰] SG2Caps: Revisiting Scene Graphs for Image Captioning.

Subarna Tripathi, Kien Nguyen외 3명|arXiv (Cornell University)|2021. 02. 09.

Multimodal Machine Learning Applications참고 문헌 5인용 수 5

한 줄 요약

SG2Caps는 단지 경찰 그림 레이블을 사용하여 최신 기술 수준의 성능을 달성하는 새로운 이미지 캡션 생성 프레임워크를 제안한다. 이는 CNN 특징이나 그래프 컨볼루션을 필요로 하지 않는다. 이미지와 캡션의 경찰 그림 간에 공간적 정보 및 인간-객체 상호작용(HOI) 정보를 통해 정렬함으로써, 파rameter 수를 49% 감소시키고 CIDEr 점수 110을 기록하여 이전의 경찰 그림 전용 모델들을 능가한다.

ABSTRACT

The mainstream image captioning models rely on Convolutional Neural Network (CNN) image features with an additional attention to salient regions and objects to generate captions via recurrent models. Recently, scene graph representations of images have been used to augment captioning models so as to leverage their structural semantics, such as object entities, relationships and attributes. Several studies have noted that naive use of scene graphs from a black-box scene graph generator harms image caption-ing performance, and scene graph-based captioning mod-els have to incur the overhead of explicit use of image features to generate decent captions. Addressing these challenges, we propose a framework, SG2Caps, that utilizes only the scene graph labels for competitive image caption-ing performance. The basic idea is to close the semantic gap between two scene graphs - one derived from the input image and the other one from its caption. In order to achieve this, we leverage the spatial location of objects and the Human-Object-Interaction (HOI) labels as an additional HOI graph. Our framework outperforms existing scene graph-only captioning models by a large margin (CIDEr score of 110 vs 71) indicating scene graphs as a promising representation for image captioning. Direct utilization of the scene graph labels avoids expensive graph convolutions over high-dimensional CNN features resulting in 49%fewer trainable parameters.

연구 동기 및 목표

• 이미지 캡션 생성에서 블랙박스 경찰 그림 생성기의 단순한 사용으로 인한 성능 저하 문제를 해결하기 위해.
• 경찰 그림 기반 캡션 생성에서 비용이 많이 드는 CNN 특징과 그래프 컨볼루션에 의존하지 않기 위해.
• 공간적 정보 및 인간-객체 상호작용(HOI) 정보를 활용하여 이미지에서 유도된 경찰 그림와 캡션에서 유도된 경찰 그림 간의 의미적 격차를 줄이기 위해.
• 추가적인 비용이 드는 특징 추출을 피하기 위해 단지 경찰 그림 레이블만을 사용하여 경쟁적인 캡션 생성 성능를 달성하기 위해.

제안 방법

• 프레임워크는 입력 이미지에서 경찰 그림을 구성하고, 참조 캡션에서 유도된 다른 경찰 그림을 구성하여 그들의 의미적 구조를 정렬한다.
• 경찰 그림 표현을 풍부하게 하기 위해 물체의 공간적 위치와 인간-객체 상호작용(HOI) 레이블을 통합한다.
• 그래프에서 시퀀스로의 모델을 학습시켜 CNN 특징을 건너뛰고 직접 캡션을 생성한다.
• 이중 그래프 정렬 메커니즘을 사용하여 이미지와 캡션 경찰 그림 간의 분포 격차를 최소화한다.
• 그래프 컨volutional 네트워크를 피하기 위해 경찰 그림 내의 관계를 직접 모델링함으로써 파rameter 수를 감소시킨다.
• 구조적 관계에 초점을 맞춘 어텐션 메커니즘을 사용하는 엔드 투 엔드 훈련 가능한 아키텍처이다.

실험 결과

연구 질문

• RQ1 CNN 특징 없이 단지 경찰 그림 레이블만을 사용할 때 이미지 캡션 생성 성능가 상당히 향상될 수 있는가?
• RQ2 공간적 정보 및 HOI 정보의 통합은 이미지와 캡션 경찰 그림 간의 정렬에 얼마나 효과적인가?
• RQ3 구조적 정렬을 통해 이미지와 캡션 경찰 그림 간의 의미적 격차는 어느 정도 줄일 수 있는가?
• RQ4 그래프 컨볼루션과 CNN 특징을 제거함으로써 성능 손실 없이 모델의 파rameter 수를 상당히 줄일 수 있는가?
• RQ5 경찰 그림 전용 모델은 시각적 특징과 구조적 특징을 혼합한 기존의 모델들을 능가할 수 있는가?

주요 결과

• SG2Caps는 CIDEr 점수 110을 기록하여 이전의 경찰 그림 전용 모델들(71점)을 크게 능가한다.
• CNN 특징과 그래프 컨볼루션을 사용하는 모델들과 비교해 trainable 파rameter 수를 49% 감소시켰다.
• 추가적인 시각적 특징 없이 경찰 그림 레이블을 직접 사용함으로써 우수한 성능을 달성했으며, 이는 경찰 그림만으로도 고품질의 캡션 생성에 충분할 수 있음을 시사한다.
• 공간적 정보 및 HOI 정보의 통합은 이미지와 캡션 경찰 그림 간의 정렬을 향상시켜 의미 일관성을 향상시켰다.
• 경찰 그림를 효과적으로 활용할 경우 명시적인 이미지 특징이 필요하지 않다는 것을 입증했다.
• 모델의 성능는 기존의 경찰 그림 기반 접근 방식을 뛰어넘었으며, 경찰 그림가 이미지 캡션 생성에 있어 유망한 표현 방식임을 입증했다.