[논문 리뷰] Comprehensive Image Captioning via Scene Graph Decomposition

Yiwu Zhong, Liwei Wang외 3명|arXiv (Cornell University)|2020. 07. 23.

Multimodal Machine Learning Applications참고 문헌 65인용 수 14

한 줄 요약

이 논문은 이미지의 시나리오 그래프를 하위 그래프로 분해하여 각각이 의미적 구성 요소를 나타내는 새로운 이미지 캡션 모델 Sub-GC를 제안한다. 그래프 신경망과 주의 기반 생성을 통해 개별 하위 그래프를 선택하고 디코딩함으로써, 캡션의 다양성, 정렬성, 제어 가능성에서 최신 기술 수준의 성능을 달성하면서도 강력한 캡션 품질을 유지한다.

ABSTRACT

We address the challenging problem of image captioning by revisiting the representation of image scene graph. At the core of our method lies the decomposition of a scene graph into a set of sub-graphs, with each sub-graph capturing a semantic component of the input image. We design a deep model to select important sub-graphs, and to decode each selected sub-graph into a single target sentence. By using sub-graphs, our model is able to attend to different components of the image. Our method thus accounts for accurate, diverse, grounded and controllable captioning at the same time. We present extensive experiments to demonstrate the benefits of our comprehensive captioning model. Our method establishes new state-of-the-art results in caption diversity, grounding, and controllability, and compares favourably to latest methods in caption quality. Our project website can be found at http://pages.cs.wisc.edu/~yiwuzhong/Sub-GC.html.

연구 동기 및 목표

• 일반적이거나 정렬되지 않거나 제어 불가능한 캡션을 생성하는 기존 이미지 캡션 모델의 한계를 해결한다.
• 캡션 품질, 다양성, 정렬성, 제어 가능성 간의 상충 관계를 극복하기 위해 통합된 프레임워크를 도입한다.
• 하위 그래프 기반 주의 메커니즘을 통해 생성된 문장 토큰과 이미지 영역 간의 정밀한 연결을 가능하게 한다.
• 동일한 아키텍처 안에서 다수의 하위 그래프를 통해 다양한 캡션 생성과 하위 그래프 선택을 통한 제어 가능한 캡션 생성을 모두 지원하도록 모델을 설계한다.
• 디코딩 중 관련 하위 그래프 노드에만 주의를 집중시켜 정렬 성능을 향상시키고, 텍스트와 시각적 영역 간의 일치도를 높인다.

제안 방법

• 입력 이미지에서 객체(시각적 및 텍스트적 특징을 가진 노드)와 관계(에지)를 나타내는 전체 시나리오 그래프를 추출한다.
• 전체 시나리오 그래프에서 겹치는 하위 그래프의 집합을 생성하여, 이미지의 각기 다른 의미적 구성 요소를 포괄한다.
• 인간 애너테이션 캡션과의 일치도를 기반으로 하위 그래프의 관련성을 평가하고, 가장 적절한 하위 그래프를 순위 매기고 선택하기 위해 그래프 신경망(GNN)을 훈련시킨다.
• 하위 그래프 내부의 노드에만 주의를 기울이는 주의 메커니즘을 사용하여, 각 선택된 하위 그래프를 자연어 문장으로 디코딩한다.
• 서브그래프 노드에 대한 크로스 주의를 갖는 시퀀스 투 시퀀스 디코더를 사용하여 토큰을 생성함으로써, 토큰과 영역 간의 정렬을 가능하게 한다.
• 사용자가 어떤 하위 그래프를 디코딩할지 지정할 수 있도록 허용하여 제어 가능한 캡션 생성을 지원한다. 이를 통해 특정 이미지 구성 요소에 대한 타겟팅된 기술이 가능하다.

실험 결과

연구 질문

• RQ1 전체 그래프 모델링과 비교해 볼 때, 시나리오 그래프를 하위 그래프로 분해하는 것이 더 다양한 의미적으로 구분되는 캡션 생성에 기여하는가?
• RQ2 하위 그래프 기반 주의는 토큰을 특정 이미지 영역에 연결함으로써 생성된 캡션의 정렬성을 향상시키는가?
• RQ3 하위 그래프 선택 메커니즘이 사용자가 어떤 이미지 구성 요소를 기술할지 지정할 수 있도록 함으로써 제어 가능한 캡션 생성을 지원하는가?
• RQ4 전체 그래프 디코딩에 비해 하위 그래프 기반 디코딩이 캡션 품질, 다양성, 정렬성 측면에서 우수한 성능을 보이는가?
• RQ5 지역 문장에 대한 명시적 지도 학습 없이도, 이미지-문장 쌍만으로 훈련된 약한 지도 학습 모델이 정렬성과 제어 가능성에서 우수한 성능을 달성할 수 있는가?

주요 결과

• Sub-GC는 다양성 측면에서 최신 기술 수준의 성능을 달성하였으며, 다양성에 특화된 이전 방법들보다 뚜렷한 향상을 보였다.
• Flickr30K Entities 데이터셋에서 Sub-GC는 F1_all 점수 47.1과 F1_loc 점수 43.1을 기록했으며, 이는 이전의 약한 지도 학습 방법 대비 각각 20%, 22%의 상대적 향상이다.
• Sub-GC는 강력한 캡션 품질을 유지하였으며, B4 점수 12.5와 CIDEr 점수 112.3을 기록하여 최신 기술 수준의 다양성 캡션 모델을 초월하고, 최고의 품질 최적화 모델과도 동등한 성능을 보였다.
• 모델은 강력한 정렬 능력을 보였으며, 전체 그래프 기반 기준 모델(Full-GC) 대비 F1_loc에서 3.5점 향상되어 생성된 토큰과 이미지 영역 간의 일치도가 더 높다는 것을 시사한다.
• 제어 가능한 캡션 생성에서, Supervised 버전의 Sub-GC는 NBT와 SCT를 상회하여 B4 기준 +1.3, CIDEr 기준 +6.4, IoU 기준 +1.4 향상되었으며, 출력 콘텐츠에 대한 더 뛰어난 제어력을 보였다.
• 약한 지도 학습 기반의 Sub-GC 모델조차도 지도 학습 기반 베이스라인과 유사한 수준의 제어 가능성을 달성하여, 하위 그래프 분해가 전체 지도 학습이 필요 없이도 모델의 인덕티브 바이어스를 향상시킨다는 것을 시사한다.