[논문 리뷰] Deconfounded Image Captioning: A Causal Retrospect

Xu Yang, Hanwang Zhang외 1명|arXiv (Cornell University)|2020. 03. 09.

Multimodal Machine Learning Applications참고 문헌 104인용 수 38

한 줄 요약

이 논문은 인과 추론을 통해 이미지 캡션 작성에서의 데이터셋 편향을 분석하고 backdoor 및 front-door 보정을 이용한 deconfounded captioning 프레임워크인 DICv1.0을 제안하여 CIDEr-D 점수를 향상시킨다.

ABSTRACT

Dataset bias in vision-language tasks is becoming one of the main problems which hinders the progress of our community. Existing solutions lack a principled analysis about why modern image captioners easily collapse into dataset bias. In this paper, we present a novel perspective: Deconfounded Image Captioning (DIC), to find out the answer of this question, then retrospect modern neural image captioners, and finally propose a DIC framework: DICv1.0 to alleviate the negative effects brought by dataset bias. DIC is based on causal inference, whose two principles: the backdoor and front-door adjustments, help us review previous studies and design new effective models. In particular, we showcase that DICv1.0 can strengthen two prevailing captioning models and can achieve a single-model 131.1 CIDEr-D and 128.4 c40 CIDEr-D on Karpathy split and online split of the challenging MS COCO dataset, respectively. Interestingly, DICv1.0 is a natural derivation from our causal retrospect, which opens promising directions for image captioning.

연구 동기 및 목표

• 시각-언어 데이터에서 교란변수로 인해 데이터셋 편향이 이미지 캡션 학습을 왜곡하는 방식을 식별한다.
• 인과 추론(백도어와 프런도어)을 사용한 principled한 디컨펜딩 방법을 개발하여 이미지-캡션 간의 진정한 인과 효과를 학습한다.
• DICv1.0 프레임워크를 제안하여 편향을 완화함으로써 기존 캡션 모델의 성능을 강화한다.
• 주요 이미지 캡션 모델을 인과적 관점에서 되돌아보아 모델 설계에 정보를 제공한다.

제안 방법

• bias를 이미지 특징 X 및 캡션 L에 영향을 주는 confounders D(및 S)로 모델링한다.
• backdoor 보정을 사용하여 confounders를 평균화해 P(L|do(X))를 계산한다: P(L|do(X)) = sum_d P(L|X,d) P(d).
• front-door 보정을 사용하여 관찰되지 않는 교란요인을 매개변수 Z를 통해 다룬다: P(L|do(X)) = sum_z P(z|X) sum_x P(L|z,x) P(x).
• DICv1.0을 인스턴스화하여 매개변수 Z를 ConceptNet의 commonsense structure로 선택하고 backdoor 디컨펀딩 어휘 S를 선택하여 두 보정을 가능하게 한다.
• Up-Down 및 AoANet 캡션에 DICv1.0을 적용하여 CIDEr-D를 향상: Up-Down는 126.4에서 129.5로, AoANet은 128.7에서 131.1로 상승(MS COCO test, c40: 128.4).

실험 결과

연구 질문

• RQ1 이미지 캡션 작성에서 데이터셋 편향이 진정한 이미지-캡션 인과 효과의 학습에 어떤 왜곡을 일으키는가?
• RQ2 현대 캡션 모델에 대해 backdoor 및 front-door 보정을 실제적으로 적용하여 디컨펀딩이 가능한가?
• RQ3 DICv1.0 프레임워크가 벤치마크 데이터셋의 표준 캡션 모델을 개선하는가?
• RQ4 구조 어휘나 commonsense triplets와 같은 매개변수가 디컨펀딩된 캡션 작성에서 어떤 역할을 하는가?

주요 결과

• DICv1.0은 backdoor 및 front-door 보정을 적용하여 P(L|do(X))의 간섭 분포를 계산함으로써 이미지 캡션 작성의 디컨펀딩이 가능하다.
• Up-Down 및 AoANet에 DICv1.0을 적용하면 MS COCO에서 CIDEr-D 점수가 향상된다: 126.4 → 129.5 및 128.7 → 131.1; 테스트 서버의 AoANet 결과에는 CIDEr-c40 128.4가 포함된다.
• 프레임워크는 교란변수 D 및 S의 편향을 완화하기 위해 매개변수 Z(commonsense structure)와 backdoor-디컨펀딩 어휘 S를 활용한다.
• backdoor 보정이 복잡하고 관찰되지 않는 교란변수로 인해 실용적이지 않을 때 front-door 접근이 교란을 디컨펀딩하도록 허용한다.
• 본 연구는 주요 캡션 모델들에 대한 인과적 회고를 제공하여 인과적 디컨펀딩 캡션생성기의 설계 방향을 제시한다.