[論文レビュー] Exploring Uncertainty Measures for Image-Caption Embedding-and-Retrieval Task

Kenta Hama, Takashi Matsubara+2 more|arXiv (Cornell University)|Apr 9, 2019

Multimodal Machine Learning Applications参考文献 54被引用数 4

ひとこと要約

本稿では、画像キャプション検索システムにおける2つの不確実性測度——特徴量不確実性（回帰ベースのモデル平均化を介して）と事後不確実性（分類ベースの信頼性スコアリングを介して）——を提案する。事後不確実性は、複数のデータセットにわたって一貫して検索性能と信頼性評価を向上させることを示しているが、特徴量不確実性は分布外または曖昧なクエリに対しては限定的な信頼性を示すにとどまる。

ABSTRACT

With the wide development of black-box machine learning algorithms, particularly deep neural network (DNN), the practical demand for the reliability assessment is rapidly rising. On the basis of the concept that `Bayesian deep learning knows what it does not know,' the uncertainty of DNN outputs has been investigated as a reliability measure for the classification and regression tasks. However, in the image-caption retrieval task, well-known samples are not always easy-to-retrieve samples. This study investigates two aspects of image-caption embedding-and-retrieval systems. On one hand, we quantify feature uncertainty by considering image-caption embedding as a regression task, and use it for model averaging, which can improve the retrieval performance. On the other hand, we further quantify posterior uncertainty by considering the retrieval as a classification task, and use it as a reliability measure, which can greatly improve the retrieval performance by rejecting uncertain queries. The consistent performance of two uncertainty measures is observed with different datasets (MS COCO and Flickr30k), different deep learning architectures (dropout and batch normalization), and different similarity functions.

研究の動機と目的

• データセットシフトや曖昧なクエリの下で信頼性評価が不足している画像キャプション埋め込みおよび検索システムに対処すること。
• ベイジアンディープラーニングからの不確実性評価が、検索性能の向上と信頼性のない予測の検出に寄与するかどうかを調査すること。
• 多様な設定において、特徴量不確実性（回帰的視点）と事後不確実性（分類的視点）の2つの不確実性測度の有効性を比較すること。
• 異なるデータセット（MS COCO、Flickr30k、RecipeQA）、アーキテクチャ（VGG19、VSE++）、類似度関数に対して、これらの不確実性測度の頑健性を評価すること。

提案手法

• 複数の順方向伝搬におけるモデル平均化を用いて分散を低減するため、画像キャプション埋め込みを回帰タスクとして扱い、モンテカルロドロップアウトを用いて特徴量不確実性を推定する。
• 検索タスクを分類問題として再定式化し、候補キャプション間の類似度分布のエントロピーとして事後不確実性を計算する。
• 事後不確実性のキャリブレーションと信頼性推定を改善するために、温度スケーリングを適用する。
• VGG19を用いたVSE++モデルをMS COCOで訓練し、Flickr30kおよびRecipeQAでテストすることで、一般化性能およびデータセットシフトに対する頑健性を評価する。
• トレーニングではランクベース損失（例：コントラスト損失）を用いるが、推論時には不確実性を事後分布を介して推定する。
• 検索指標（例：R@1、R@5、R@10）を用いて不確実性測度を評価し、不確実性に基づくフィルタリングやモデル平均化を適用した場合としない場合で性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 埋め込み回帰からの特徴量不確実性が、複数のモンテカルロ順方向伝搬におけるモデル平均化を通じて検索性能を向上させることができるか？
• RQ2 分類ベースの類似度スコアリングからの事後不確実性が、画像キャプション検索における信頼性の高い信頼性指標として機能するか？
• RQ3 これらの不確実性測度は、特に共変量シフト（例：MS COCOからFlickr30kまたはRecipeQAへの移行）下で、異なるデータセットにおいてどのように性能を発揮するか？
• RQ4 特徴量不確実性は、埋め込みにおける高い分散を示すにもかかわらず、なぜ分布外または曖昧なクエリを検出できないのか？
• RQ5 ドロップアウトやバッチ正則化などのアーキテクチャ的選択および類似度関数が、不確実性推定の信頼性にどのように影響を与えるか？

主な発見

• 事後不確実性は、特に曖昧または分布外のケースにおいて、信頼性の低いクエリをフィルタリングすることで検索性能を顕著に向上させる。
• 特徴量不確実性は、複数のモンテカルロ順方向伝搬におけるモデル平均化を通じて検索精度を向上させるが、予測の信頼性を信頼性を持って示すことはできない。
• 事後不確実性は、MS COCOに比べてFlickr30kおよび特にRecipeQAで顕著に高い値を示しており、これはデータセットシフトおよび分布シフトへの感受性を示している。
• 特徴量不確実性は、MS COCO、Flickr30k、RecipeQAの間で類似した分布を示すが、Flickr30kでは顕著な性能低下が見られるため、ドメイン外検出には信頼性が低い。
• 定性的分析により、事後不確実性は類似したターゲット（例：野球のスイング）の混乱を捉えているのに対し、特徴量不確実性は局所的な画像の複雑さを反映しているが、意味的曖昧性を捉えてはいない。
• 事後不確実性測度は、さまざまなディープラーニングアーキテクチャ（例：VGG19とVSE++の組み合わせ）および類似度関数に対して頑健であり、一般化可能性と強い信頼性評価能力を示している。