[論文レビュー] Mutual Information Divergence: A Unified Metric for Multimodal Generative Models

Jin-Hwa Kim, Yunji Kim+3 more|arXiv (Cornell University)|May 25, 2022

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

本稿では、CLIP特徴量を用い、ガウス分布仮定の下で負の交差相互情報量を活用することで、マルチモーダル生成モデルのための統一的指標である相互情報量発散（MID）を提案する。MIDは、人間の判断との相関性およびテキストから画像生成および画像キャプション生成のベンチマークにおけるロバスト性において、既存の指標を顕著に上回り、FOIL幻覚検出およびFlickr8K-Expertを含む複数の標準評価セットで最先端の結果を達成している。

ABSTRACT

Text-to-image generation and image captioning are recently emerged as a new experimental paradigm to assess machine intelligence. They predict continuous quantity accompanied by their sampling techniques in the generation, making evaluation complicated and intractable to get marginal distributions. Based on a recent trend that multimodal generative evaluations exploit a vison-and-language pre-trained model, we propose the negative Gaussian cross-mutual information using the CLIP features as a unified metric, coined by Mutual Information Divergence (MID). To validate, we extensively compare it with competing metrics using carefully-generated or human-annotated judgments in text-to-image generation and image captioning tasks. The proposed MID significantly outperforms the competitive methods by having consistency across benchmarks, sample parsimony, and robustness toward the exploited CLIP model. We look forward to seeing the underrepresented implications of the Gaussian cross-mutual information in multimodal representation learning and the future works based on this novel proposition.

研究の動機と目的

• 分布的発散とサンプリングの複雑さに起因する、マルチモーダル生成モデルの評価の難しさに対処すること。
• 単一の原理的指標を用いて、テキストから画像生成と画像キャプション生成の両方の評価を統一すること。
• 人間の判断との相関性およびCLIPモデルの変化に対するロバスト性を向上させること。
• マルチモーダル表現学習における相互情報量ベースの評価の理論的基盤を提供すること。
• 多様なベンチマークにわたる、サンプル効率的かつ一貫性のある評価を可能にすること。

提案手法

• 視覚的およびテキスト的CLIP特徴量の多変量ガウス分布仮定の下で、負の交差相互情報量に基づく統一的指標、相互情報量発散（MID）を提案する。
• 画像とテキスト特徴量の連合分布を多変量ガウス分布としてモデル化し、平均および共分散を推定することで相互情報量を計算する。
• 生成データと実データ分布の整合性を測る発散指標として、負の交差相互情報量を用いる。
• CLIP埋め込みを特徴表現の基盤として採用し、ゼロショット転送とドメイン間の一貫性を実現する。
• 分布外検出には二乗マハラノビス距離を適用し、理論的分析にはバイアス-バリアンス分解を提供する。
• MIDとカルバック・ライブラー発散の理論的関係を確立し、情報理論的原則への接続を明示する。

実験結果

リサーチクエスチョン

• RQ1 相互情報量に基づく統一的指標が、テキストから画像生成と画像キャプション生成の両方を効果的に評価できるか？
• RQ2 多様なベンチマークにおいて、MIDは人間の判断との相関性において既存の指標を上回るか？
• RQ3 MIDは、下位のCLIPモデルの変化やデータドメインの変化に対してどれほどロバストか？
• RQ4 MIDは、基準に基づくまたはn-gram指標よりも、幻覚や分布シフトをより信頼性高く検出できるか？
• RQ5 MIDとKL発散などの確立された発散測度との理論的関係は何か？

主な発見

• FOIL幻覚検出ベンチマークでは、1つの参照で90.5%、4つの参照で90.5%の精度を達成し、最先端の性能を示した。
• Flickr8K-ExpertおよびFlickr8K-CFベンチマークでは、MIDは平均85.2%の精度を達成し、RefCLIP-S（83.1%）およびCLIP-S（80.7%）を上回った。
• 人間の判断との相関性において、CUBおよびMM-CelebA-HQを含む複数のデータセットで優れた一貫性を示し、シャッフル実験でも安定した勾配を示した。
• CLIPモデルの変化に対して高いロバスト性を示し、COCO、LN-COCO、CUB、MM-CelebA-HQといった複数のドメインで一貫した性能を維持した。
• 理論的分析により、MIDがKL発散と理論的に関連していることが確認され、バイアス-バリアンス分解およびマハラノビス距離を用いた分布外検出が可能となった。
• FOILのHIサブセットでは99.7%の精度を達成し、近似完璧に近い性能を示し、この特定のスプリットではBERT-S++（98.1%）およびTIGEr（99.8%）を上回った。