[論文レビュー] Prototype-based Aleatoric Uncertainty Quantification for Cross-modal Retrieval

Hao Li, Jingkuan Song+3 more|arXiv (Cornell University)|Sep 29, 2023

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本稿では、高速な動画や詳細のないテキストのような曖昧なデータに起因するクロスモodal検索における不確実性を定量化する新しいフレームワーク、プロトタイプベースのアンタリック不確実性評価（PAU）を提案する。モダリティ固有のプロトタイプを学習し、ディリクレ分布を用いたデムプスター・シャファー理論（DST）で証拠をモデル化することで、予測の信頼性が向上し、MSR-VTT、MSVD、DiDeMo、MS-COCOの各ベンチマークで最先端の性能を達成。不確実性に配慮した再ランク付けにより、R@1で最大2.2%の向上を実現した。

ABSTRACT

Cross-modal Retrieval methods build similarity relations between vision and language modalities by jointly learning a common representation space. However, the predictions are often unreliable due to the Aleatoric uncertainty, which is induced by low-quality data, e.g., corrupt images, fast-paced videos, and non-detailed texts. In this paper, we propose a novel Prototype-based Aleatoric Uncertainty Quantification (PAU) framework to provide trustworthy predictions by quantifying the uncertainty arisen from the inherent data ambiguity. Concretely, we first construct a set of various learnable prototypes for each modality to represent the entire semantics subspace. Then Dempster-Shafer Theory and Subjective Logic Theory are utilized to build an evidential theoretical framework by associating evidence with Dirichlet Distribution parameters. The PAU model induces accurate uncertainty and reliable predictions for cross-modal retrieval. Extensive experiments are performed on four major benchmark datasets of MSR-VTT, MSVD, DiDeMo, and MS-COCO, demonstrating the effectiveness of our method. The code is accessible at https://github.com/leolee99/PAU.

研究の動機と目的

• 高速な動画や詳細のないテキストのような低品質または曖昧なデータに対して、不確実性の定量化が不足している問題に対処すること。
• モデルの不確実性ではなく、データ自体の曖昧性に起因するアンタリック不確実性を特定および定量化すること。
• 不確実性に配慮した再ランク付けおよび損失関数を用いることで、信頼できる予測を提供し、検索の信頼性を向上させること。
• 高エントロピーの曖昧なデータと一様に分布する低信頼度の予測を区別できる汎用性の高いフレームワークを開発すること。
• 不確実なサンプルを除去することで検索性能が向上することを実証し、フレームワークが信頼できないデータを正しく検出できる能力を裏付けること。

提案手法

• 各モダリティに特化したプロトタイプを学習し、それぞれが明確な意味的カテゴリーに対応するように、意味的サブスペースを表現する。
• 入力インスタンスとクロスモダリティプロトタイプ間のコサイン類似度を、デムプスター・シャファー理論（DST）フレームワークにおける証拠質量として用いる。
• 証拠質量から導かれるディリクレ分布のパラメータを用いて不確実性をモデル化し、確率的不確実性推定を可能にする。
• 曖昧なデータに対して高い不確実性を割り当てるようモデルを学習するための不確実性損失と、意味的空間を均一にカバーするための多様性損失を導入する。
• 予測された不確実性スコアを用いて再ランク付けを実施し、不確実な予測をフィルタリングまたは再重み付けすることで、検索性能を向上させる。
• 情報エントロピーと最大エントロピー原理を活用し、標準的なエントロピーを超える高度な不確実性モデリングの必要性を正当化する。

実験結果

リサーチクエスチョン

• RQ1 曖昧なデータが存在する状況下でも、不確実性定量化がクロスモダリティ検索予測の信頼性を向上させ得るか？
• RQ2 高速な動画や詳細のないテキストのようなデータの曖昧性に起因するアンタリック不確実性は、どのように効果的にモデリングされ、定量化されるか？
• RQ3 提案されたPAUフレームワークは、不確実なサンプルが特定され処理された場合、ベースラインモデルに比べて検索精度と耐性の両面で優れているか？
• RQ4 高不確実性のサンプルを除去することで、検索性能がどの程度向上するか？また、これはフレームワークが信頼できないデータを正しく検出できる能力を裏付けるか？
• RQ5 PAUから得られる不確実性スコアは、予測の再ランク付けに用いられ、クロスモダリティ検索タスクにおけるR@1性能を向上させ得るか？

主な発見

• 不確実性損失を適用した場合、PAUフレームワークは動画からテキストへの検索でR@1に2.2%、テキストから動画への検索で1.4%の向上を達成し、予測の信頼性向上の有効性を示した。
• MSR-VTTのテストセットから上位600件の不確実性の高いサンプルを除去したところ、テキストから動画への検索で14.2ポイント、動画からテキストへの検索で12.3ポイントの性能向上が得られ、PAUが極めて信頼性の低いデータを正しく特定していることが確認された。
• テキストから動画への検索でr=70の場合、高不確実性サブセットにおいてPAUはベースラインを最大8.6ポイントも上回り、不確実性下でも性能を維持できる能力を示した。
• 不確実性に基づく再ランク付け戦略は、事前学習済みのベースラインモデルに対してもR@1の向上をもたらしたため、強力な汎用性と実用的価値を示している。
• 可視化結果から、高不確実性のキャプション（例：「人が何かを説明している」）や複数のシーンを含む動画（例：変化するシーン）が、PAUによって正しく曖昧性として特定されていることが確認された。
• 多様性損失は不可欠であることが、アブレーションスタディにより示された。多様性損失なしのモデルは意味的空間を均一にカバーできず、不確実性定量化の品質が低下した。