[論文レビュー] Exposing and Mitigating Spurious Correlations for Cross-Modal Retrieval

Jae Myung Kim, A. Sophia Koepke+2 more|arXiv (Cornell University)|Apr 6, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、学習データにおける意味的に無関係なオブジェクトの頻繁な共起によって引き起こされる、画像・テキスト検索モデルにおける誤った相関関係を測定・軽減するための新規指標 ODmAP@k を提案する。対象となるオブジェクトの除去（インpainting を用いた）およびテキストの再表現を用いた合成データでのファインチューニングにより、標準的な検索性能を損なうことなく、誤った相関関係に対するモデルの頑健性が顕著に向上することが、MSCOCO および Flickr30k における3つの最先端モデルで示された。

ABSTRACT

Cross-modal retrieval methods are the preferred tool to search databases for the text that best matches a query image and vice versa. However, image-text retrieval models commonly learn to memorize spurious correlations in the training data, such as frequent object co-occurrence, instead of looking at the actual underlying reasons for the prediction in the image. For image-text retrieval, this manifests in retrieved sentences that mention objects that are not present in the query image. In this work, we introduce ODmAP@k, an object decorrelation metric that measures a model's robustness to spurious correlations in the training data. We use automatic image and text manipulations to control the presence of such object correlations in designated test data. Additionally, our data synthesis technique is used to tackle model biases due to spurious correlations of semantically unrelated objects in the training data. We apply our proposed pipeline, which involves the finetuning of image-text retrieval frameworks on carefully designed synthetic data, to three state-of-the-art models for image-text retrieval. This results in significant improvements for all three models, both in terms of the standard retrieval performance and in terms of our object decorrelation metric. The code is available at https://github.com/ExplainableML/Spurious_CM_Retrieval.

研究の動機と目的

• 誤った相関関係（例えば、意味的に無関係なオブジェクトの頻繁な共起）が画像・テキスト検索モデルに与える影響を特定および定量すること。
• クエリ画像に存在するオブジェクトを含み、元の画像から削除されたオブジェクトを除外するように設計された、モデルの誤った相関関係に対する頑健性を測定する新しい評価指標 ODmAP@k を開発すること。
• 学習データにおける頻繁なオブジェクト共起を排除することで、モデルのバイアスを緩和するための合成画像・テキストペアを生成するデータ拡張パイプラインを設計すること。
• 合成データでのファインチューニングが、新しい指標においてモデルの頑健性を向上させるとともに、標準的な検索性能を維持または向上させることを実証すること。

提案手法

• ODmAP@k を提案し、検索結果にクエリ画像に存在するオブジェクトが含まれており、元の画像から削除されたオブジェクトが除外されているかどうかを評価する。
• オブジェクト検出および画像インpainting を用いて、実際の画像から頻繁に共起するオブジェクトを削除することで、合成クエリ画像を生成する。
• 名詞句の削除やテキスト生成モデルを用いて、対応するテキスト記述を生成し、合成された画像・テキストペアデータを構築する。
• オリジナルデータと合成データの組み合わせを用いたファインチューニングパイプラインを適用し、画像・テキスト検索モデルのバイアスを緩和する。
• 複数の画像生成戦略（例：ぼかし、ゼロパディング、平均パディング、インpainting）およびテキスト生成手法（例：プロンプト、キャプションモデル）を比較し、有効性を評価する。
• 標準ベンチマーク（MSCOCO、Flickr30k）および新しい指標を用いて、3つの最先端画像・テキスト検索モデル（例：CLIP）を訓練および評価する。

実験結果

リサーチクエスチョン

• RQ1 既存の画像・テキスト検索モデルは、実際の画像コンテンツよりも、意味的に無関係なオブジェクトの頻繁な共起といった誤った相関関係にどれほど依存しているのか？
• RQ2 検索タスクにおけるこのような誤った相関関係に対するモデルの頑健性を、具体的に定量化する指標をどのように設計できるか？
• RQ3 画像およびテキストの合成データ生成戦略の中で、誤ったオブジェクト共起の記憶を最も効果的に軽減するものは何か？
• RQ4 合成データでのファインチューニングにより、新しい指標におけるモデルの頑健性が向上し、標準的な検索性能が低下しないか？

主な発見

• CLIP において、名詞句の削除とインpainting を用いた合成データでファインチューニングした結果、ODmAP@1 が 59.8 から 70.1 に向上し、誤った相関関係の緩和が顕著に確認された。
• 最も優れた性能を示した合成データ生成戦略は、テキストに対して名詞句の削除、画像に対してインpainting を用いたもので、ODmAP@1 は 70.1 を達成した。一方、プロンプトベースのテキスト生成はハブネス問題を引き起こし、k 値が高くなるほど性能が低下した。
• 合成データを約 10%（1 枚の画像に対して 1 つのキャプションに相当）程度使用するだけで、ODmAP@1 の向上がほぼ最大に達し、20% を超えるとさらに向上が飽和した。
• 標準的な検索性能（R@1）は、合成データの比率が変化しても安定しており、主タスクの性能に悪影響がないことが示された。
• 本手法は 3 つの最先端モデルにおいて顕著な頑健性の向上を示し、特定のアーキテクチャに依存しない一般化可能性を示した。
• 分布外の画像生成手法（例：ゼロパディング）を用いた合成データは、逆に性能を低下させた。これは、分布シフトが新たなバイアスを導入する可能性があることを示唆している。