[논문 리뷰] Auto-Encoding Graphical Inductive Bias for Descriptive Image Captioning

Xu Yang, Kaihua Tang외 2명|arXiv (Cornell University)|2018. 12. 06.

Multimodal Machine Learning Applications참고 문헌 43인용 수 2

한 줄 요약

이 논문은 시각적 구조와 언어 패턴을 모델링하기 위해 색인 그래프와 공유 사전을 활용함으로써 언어적 인덕티브 바이어스를 이미지 캡션 생성에 통합하는 새로운 프레임워크인 시나포스 그래프 자동에코(SGAE)를 제안한다. $\sigma \rightarrow \mathcal{G} \rightarrow \mathcal{D} \rightarrow \mathcal{S}$ 파이프라인을 통해 구조적 언어 사전 지식을 교차 도메인으로 전이함으로써 SGAE는 최신 기준 성능을 달성하여 카프라피 스플릿에서 127.8 CIDEr-D, 공식 MS-COCO 테스트 서버에서 125.5 CIDEr-D를 기록한다.

ABSTRACT

We propose Scene Graph Auto-Encoder (SGAE) that incorporates the language inductive bias into the encoder-decoder image captioning framework for more human-like captions. Intuitively, we humans use the inductive bias to compose collocations and contextual inference in discourse. For example, when we see the relation `person on bike', it is natural to replace `on' with `ride' and infer `person riding bike on a road' even the `road' is not evident. Therefore, exploiting such bias as a language prior is expected to help the conventional encoder-decoder models less likely overfit to the dataset bias and focus on reasoning. Specifically, we use the scene graph --- a directed graph ($\mathcal{G}$) where an object node is connected by adjective nodes and relationship nodes --- to represent the complex structural layout of both image ($\mathcal{I}$) and sentence ($\mathcal{S}$). In the textual domain, we use SGAE to learn a dictionary ($\mathcal{D}$) that helps to reconstruct sentences in the $\mathcal{S} ightarrow \mathcal{G} ightarrow \mathcal{D} ightarrow \mathcal{S}$ pipeline, where $\mathcal{D}$ encodes the desired language prior; in the vision-language domain, we use the shared $\mathcal{D}$ to guide the encoder-decoder in the $\mathcal{I} ightarrow \mathcal{G} ightarrow \mathcal{D} ightarrow \mathcal{S}$ pipeline. Thanks to the scene graph representation and shared dictionary, the inductive bias is transferred across domains in principle. We validate the effectiveness of SGAE on the challenging MS-COCO image captioning benchmark, e.g., our SGAE-based single-model achieves a new state-of-the-art $127.8$ CIDEr-D on the Karpathy split, and a competitive $125.5$ CIDEr-D (c40) on the official server even compared to other ensemble models.

연구 동기 및 목표

• 기존의 인코더-디코더 모델이 데이터셋의 편향에 과적합되는 문제를 해결하기 위해 인간과 유사한 추론을 가능하게 하는 언어적 인덕티브 바이어스를 통합하는 것.
• 이미지와 문장을 위한 통합 표현으로서 색인 그래프를 사용하여 복잡한 시각적 및 언어적 구조를 모델링하는 것.
• 언어 패턴을 인코딩하는 공유 사전을 학습하여 시각과 언어 도메인 간에 인덕티브 바이어스를 전이하는 것.
• 문맥적 추론과 어울림 생성(예: 'person on bike'에서 'on'에서 'riding'를 유추)을 가능하게 하여 캡션 품질을 향상시키는 것.
• 앙상블 기법에 의존하지 않고 MS-COCO 이미지 캡션 벤치마크에서 최고 성능을 달성하는 것.

제안 방법

• 객체 노드가 관계 및 형용사 노드를 통해 연결되는 색인 그래프($\mathcal{G}$)로 이미지와 문장을 모두 표현하여 구조적 복잡성을 포괄하는 것.
• 문장을 $\mathcal{S} \rightarrow \mathcal{G} \rightarrow \mathcal{D} \rightarrow \mathcal{S}$ 파이프라인을 통해 재구성하는 색인 그래프 자동에코(SGAE)를 훈련시키며, $\mathcal{D}$ 는 텍스트 데이터로부터 언어 사전 지식을 학습한다.
• 학습된 사전 $\mathcal{D}$ 를 시각-언어 파이프라인 $\mathcal{I} \rightarrow \mathcal{G} \rightarrow \mathcal{D} \rightarrow \mathcal{S}$ 내에서 공유 인덕티브 바이어스로 사용하여 캡션 생성을 안내하는 것.
• 공유된 $\mathcal{D}$ 를 활용해 텍스트에서 시각으로 언어적 인덕티브 바이어스를 전이하여 명시적 시각적 신호를 초월한 추론(예: 'on bike'에서 'road'를 유추)을 가능하게 하는 것.
• 시각적 특징 추출, 색인 그래프 구축, 캡션 생성을 함께 최적화할 수 있도록 엔드 투 엔드 훈련을 수행하며, $\mathcal{D}$ 에 인코딩된 언어 사전 지식을 통합하는 것.
• MS-COCO 벤치마크에 프레임워크를 적용하여 카프라피 스플릿과 공식 테스트 세트를 사용해 CIDEr-D와 같은 표준 지표로 성능을 평가하는 것.

실험 결과

연구 질문

• RQ1 언어적 인덕티브 바이어스를 통합함으로써 이미지 캡션 모델의 추론 능력이 데이터셋 편향에 대한 기억을 초월하여 향상되는가?
• RQ2 언어 패tern의 공유 사전이 텍스트에서 시각으로 구조적 인덕티브 바이어스를 얼마나 효과적으로 전이하는가?
• RQ3 색인 그래프 표현이 복잡한 객체 간 관계를 모델링하고 캡션의 일관성과 다양성을 향상시키는 데 기여하는가?
• RQ4 자동에코를 통한 언어 사전 지식의 사용이 이미지 캡션에서 일반화 및 제로샷 추론 능력을 얼마나 향상시키는가?
• RQ5 제안된 방법이 앙상블 모델에 의존하지 않고 표준 벤치마크에서 최고 성능을 달성하는가?

주요 결과

• 제안된 SGAE 모델은 MS-COCO 벤치마크의 카프라피 스플릿에서 새로운 최고 성능인 127.8 CIDEr-D 점수를 기록하였다.
• 공식 MS-COCO 테스트 서버에서 단일 모델인 SGAE는 경쟁력 있는 125.5 CIDEr-D(c40) 점수를 기록하여 많은 앙상블 기반 모델을 능가하였다.
• 모델은 'on'을 'riding'로 대체하는 등 타당한 추론 능력을 보이며, 'bike'가 도로 위에 명시적으로 존재하지 않더라도 'on'에서 'road'를 유추하는 등 더 나은 추론 능력을 보였다.
• 공유 사전 $\mathcal{D}$ 는 캡션 생성을 안내하는 언어 사전 지식을 성공적으로 인코딩하여 훈련 데이터의 편향에 대한 과적합을 감소시켰다.
• 색인 그래프와 언어 자동에코의 통합은 인덕티브 바이어스의 효과적인 교차 도메인 전이를 가능하게 하여 사실적 정확성과 문맥 정확성을 모두 향상시켰다.
• 단일 모델로도 높은 성능을 달성하여 강력한 일반화 능력과 앙상블 기법에 대한 의존도 감소를 보였다.