[論文レビュー] Deconfounded Image Captioning: A Causal Retrospect

Xu Yang, Hanwang Zhang+1 more|arXiv (Cornell University)|Mar 9, 2020

Multimodal Machine Learning Applications参考文献 104被引用数 38

ひとこと要約

本論文は因果推論を通じて画像キャプション生成におけるデータセットバイアスを分析し、バックドアとフロントドアの調整を用いたデコンファウンドドキャプショニングフレームワークであるDICv1.0を提案し、CIDEr-Dスコアの改善を目指します。

ABSTRACT

Dataset bias in vision-language tasks is becoming one of the main problems which hinders the progress of our community. Existing solutions lack a principled analysis about why modern image captioners easily collapse into dataset bias. In this paper, we present a novel perspective: Deconfounded Image Captioning (DIC), to find out the answer of this question, then retrospect modern neural image captioners, and finally propose a DIC framework: DICv1.0 to alleviate the negative effects brought by dataset bias. DIC is based on causal inference, whose two principles: the backdoor and front-door adjustments, help us review previous studies and design new effective models. In particular, we showcase that DICv1.0 can strengthen two prevailing captioning models and can achieve a single-model 131.1 CIDEr-D and 128.4 c40 CIDEr-D on Karpathy split and online split of the challenging MS COCO dataset, respectively. Interestingly, DICv1.0 is a natural derivation from our causal retrospect, which opens promising directions for image captioning.

研究の動機と目的

• 視覚と言語データの混乱因子を介したデータセットバイアスが画像キャプション学習をどのように歪めるかを特定する。
• 因果推論（バックドアとフロントドア）を用いた原理的なデデコンファウンディング手法を開発し、真の画像-to-caption因果効果を学習する。
• DICv1.0フレームワークを提案し、バイアスを緩和することで既存のキャプショナーを強化する。
• 因果的な視点から主要な画像キャプションモデルを再評価し、モデル設計に情報を提供する。

提案手法

• バイアスを画像特徴量XとキャプションLに影響を与える共変量D（およびS）としてモデル化する。
• バックドア補正を用いて共変量を平均化することによりP(L|do(X))を計算する：P(L|do(X)) = sum_d P(L|X,d) P(d)。
• 観測されていない共変量を媒介変数Zを介して扱うフロントドア補正を用いてP(L|do(X))を推定する：P(L|do(X)) = sum_z P(z|X) sum_x P(L|z,x) P(x)。
• DICv1.0を媒介変数ZとしてConceptNetの常識的構造を選択し、バックドアデコンファウンディング語彙Sを用いて両方の調整を可能にする。
• DICv1.0をUp-DownおよびAoANetキャプショナーに適用し、CIDEr-Dを向上させる：Up-Downは126.4から129.5へ；AoANetは128.7から131.1へ（MS COCOテスト、c40: 128.4）。

実験結果

リサーチクエスチョン

• RQ1 画像キャプション生成におけるデータセットバイアスが真の画像-to-caption因果効果の学習をどのように歪めるか。
• RQ2 因果調整（バックドアとフロントドア）を現代的なキャプションモデルのデコンファウンディングに実用的に適用できるか。
• RQ3 DICv1.0フレームワークは標準的なキャプショナーをベンチマークデータセットで改善するか。
• RQ4 構造的語彙や常識的トリプレットのような媒介変数はデコンファウンディングキャプショニングにどのような役割を果たすか。

主な発見

• DICv1.0はバックドアとフロントドア補正を適用して介入分布P(L|do(X))を計算することで画像キャプショニングのデコンファウンディングを実現できる。
• Up-DownおよびAoANetと組み合わせたDICv1.0はMS COCOでCIDEr-Dスコアを向上：126.4→129.5および128.7→131.1（AoANetの結果にはテストサーバーでのCIDEr-c40 128.4を含む）。
• このフレームワークは媒介変数Z（常識構造）とバックドアデコンファウンディング語彙Sを用いて、共変量DおよびSからのバイアスを緩和する。
• バックドア補正が現実的でない複雑な観測不能共変量に対してフロントドアアプローチを用いることでデコンファウンディングを可能にする。
• 本研究は主要なキャプショニングモデルの因果的な回顧を提供し、因果的にデコンファウンディングされたキャプショナーの設計を知らせる。