[논문 리뷰] Auto-Encoding Scene Graphs for Image Captioning

Xu Yang, Kaihua Tang외 2명|arXiv (Cornell University)|2018. 12. 06.

Multimodal Machine Learning Applications참고 문헌 46인용 수 26

한 줄 요약

이 논문은 자연어에서의 언어 인덕티브 바이어스를 시각-언어 통합 프레임워크로 도입하기 위해 자연어에서의 시나리오 그래프 자동에코드를 통해 공유 사전을 학습하는 새로운 프레임워크인 스코어 그래프 자동에코더(SGAE)를 제안한다. 시나리오 그래프를 상징적 중간 표현으로 활용하고 시각 및 언어 영역 간에 학습된 사전을 공유함으로써, 추론 능력과 일반화 능력을 향상시키며, 단일 모델로 MS-COCO 카프라피 스플릿에서 127.8 CIDEr-D의 새로운 최고 성능을 달성한다.

ABSTRACT

We propose Scene Graph Auto-Encoder (SGAE) that incorporates the language inductive bias into the encoder-decoder image captioning framework for more human-like captions. Intuitively, we humans use the inductive bias to compose collocations and contextual inference in discourse. For example, when we see the relation `person on bike', it is natural to replace `on' with `ride' and infer `person riding bike on a road' even the `road' is not evident. Therefore, exploiting such bias as a language prior is expected to help the conventional encoder-decoder models less likely overfit to the dataset bias and focus on reasoning. Specifically, we use the scene graph --- a directed graph ($\mathcal{G}$) where an object node is connected by adjective nodes and relationship nodes --- to represent the complex structural layout of both image ($\mathcal{I}$) and sentence ($\mathcal{S}$). In the textual domain, we use SGAE to learn a dictionary ($\mathcal{D}$) that helps to reconstruct sentences in the $\mathcal{S} ightarrow \mathcal{G} ightarrow \mathcal{D} ightarrow \mathcal{S}$ pipeline, where $\mathcal{D}$ encodes the desired language prior; in the vision-language domain, we use the shared $\mathcal{D}$ to guide the encoder-decoder in the $\mathcal{I} ightarrow \mathcal{G} ightarrow \mathcal{D} ightarrow \mathcal{S}$ pipeline. Thanks to the scene graph representation and shared dictionary, the inductive bias is transferred across domains in principle. We validate the effectiveness of SGAE on the challenging MS-COCO image captioning benchmark, e.g., our SGAE-based single-model achieves a new state-of-the-art $127.8$ CIDEr-D on the Karpathy split, and a competitive $125.5$ CIDEr-D (c40) on the official server even compared to other ensemble models.

연구 동기 및 목표

• 종단간 인코더-디코더 모델이 기술적이고 인간처럼 자연스러운 문장을 생성하는 데에 한계가 있음을 해결하기 위해 언어 인덕티브 바이어스를 통합한다.
• 이미지와 문장의 상징적이고 구조화된 표현으로서의 시나리오 그래프를 활용하여 시각 인식과 언어 구성 간 격차를 해소한다.
• 텍스트 전용 시나리오 그래프 재구성에서 유래한 언어 사전을 공유하고 학습 가능한 사전으로 학습하여, 시각-언어 작업으로 이식 가능한 언어 사전을 얻는다.
• 언어 데이터에서 유도된 맥락 추론 및 어울림 패턴을 활용하여 추론 능력을 향상시키고 데이터셋 편향에 대한 과적합을 줄인다.

제안 방법

• 이 방법은 객체, 속성, 관계 노드를 포함하는 방향 그래프로 이미지와 문장을 모두 시나리오 그래프(G)로 표현한다.
• 자기 재구성 파이프라인 S → G → D → S에서 작동하는 스코어 그래프 자동에코더(SGAE)를 학습한다. 여기서 D는 노드 특징을 재인코딩하여 언어 인덕티브 바이어스를 포착하는 학습 가능한 사전이다.
• 사전 D는 시각-언어 파이프라인 전체에 공유된다: I → G → D → S로, 언어 사전을 이미지 캡션 생성에 전이할 수 있도록 한다.
• 이미지에서 캡션으로의 파이프라인에서 다중모달 그래프 컨볼루션 네트워크(GCN)를 사용하여 시나리오 그래프 특징을 개선하고, 불완전한 검출로 인해 누락된 시각적 신호를 통합한다.
• 프리트레인된 시각 인코더와 RNN 기반 언어 디코더를 통합하며, 순서 최적화를 위해 강화학습 전략을 사용하여 학습한다.
• 공유 사전 D는 작업 메모리 역할을 하며, 상징적 추론과 시각 인식을 분리하고 특징 표현의 도메인 갭을 줄인다.

실험 결과

연구 질문

• RQ1 어울림 패턴과 맥락 추론과 같은 언어 인덕티브 바이어스를 효과적으로 추출하고 이미지 캡션 향상에 전이시킬 수 있는가?
• RQ2 텍스트 전용 시나리오 그래프 자동에코딩에서 유도된 공유 사전이 시각-언어 작업에서 제로샷 또는 희소한 few-shot 일반화를 향상시킬 수 있는가?
• RQ3 기호적 시나리오 그래프 표현을 통합할 경우 종단간 모델 대비 더 기술적으로 구체적이고 맥락적으로 일관된 캡션을 생성할 수 있는가?
• RQ4 SGAE를 사용할 경우, 시각적 시나리오 그래프 검출기의 품질이 최종 캡션 모델 성능에 어떤 영향을 미치는가?

주요 결과

• SGAE 기반 단일 모델은 MS-COCO 카프라피 스플릿에서 127.8 CIDEr-D 점수를 기록하여 이전 모든 방법을 능가하는 새로운 최고 성능을 달성한다.
• 작은 배치 크기(100)와 적은 학습 에포크 수(250)에도 불구하고, 배치 크기 1,024와 250 에포크를 사용한 GCN-LSTM을 초월한다.
• 융합 버전인 SGAE fuse는 공식 MS-COCO 테스트 서버에서 125.5 CIDEr-D를 기록하여 앙상블 모델을 능가하는 경쟁력 있는 성능을 보였다.
• 인간 평가 결과, 사전 D를 사용해 생성된 캡션은 그렇지 않은 경우보다 유의미하게 더 구체적이며, 학습된 인덕티브 바이어스의 유용성을 확인한다.
• 문장 재구성 아블레이션 결과, 사전 D를 사용할 경우 모델의 정규화가 이루어지고 일반화 능력이 향상되며, 원시 재구성 정확도는 약간 감소하더라도 이를 감안할 만하다.
• 결과적으로, 시각적 시나리오 그래프 검출기의 품질은 핵심적 한계 요소임을 시사하며, G의 품질이 열악할 경우 강력한 언어 사전에도 불구하고 성능 향상이 제한됨을 보여준다.