[論文レビュー] Modeling Uncertainty with Hedged Instance Embedding

Seong Joon Oh, Kevin Murphy+4 more|arXiv (Cornell University)|Sep 30, 2018

AI in cancer detection参考文献 25被引用数 35

ひとこと要約

本稿では、入力の不確実性（遮蔽やぼやけなど）を捉えるために、画像埋め込みを確率分布としてモデル化する確率的手法であるHedged Instance Embedding（HIB）を提案する。HIBは、妥当な潜在空間領域にわたって確率質量を分散させることで、不確実性を表現する。変分情報ボトルネックを用い、学習可能なマージンを有するソフトコントラスト損失で訓練することで、曇りや曇りのない入力においても下流の認識・検証性能が向上し、各入力ごとの不確実性測度を提供する。

ABSTRACT

Instance embeddings are an efficient and versatile image representation that facilitates applications like recognition, verification, retrieval, and clustering. Many metric learning methods represent the input as a single point in the embedding space. Often the distance between points is used as a proxy for match confidence. However, this can fail to represent uncertainty arising when the input is ambiguous, e.g., due to occlusion or blurriness. This work addresses this issue and explicitly models the uncertainty by hedging the location of each input in the embedding space. We introduce the hedged instance embedding (HIB) in which embeddings are modeled as random variables and the model is trained under the variational information bottleneck principle. Empirical results on our new N-digit MNIST dataset show that our method leads to the desired behavior of hedging its bets across the embedding space upon encountering ambiguous inputs. This results in improved performance for image matching and classification tasks, more structure in the learned embedding space, and an ability to compute a per-exemplar uncertainty measure that is correlated with downstream performance.

研究の動機と目的

• 遮蔽やぼやけた画像などの曇った入力からのアレアトリック不確実性を表現できない決定的インスタンス埋め込みの限界を是正すること。
• 埋め込み空間において不確実性を明示的にモデル化するため、埋め込みを確率変数として扱う手法の開発。
• 特に損傷済みまたは曇った入力において、画像マッチングおよび分類タスクの性能を向上させること。
• 下流タスクの性能と相関する、信頼性の高い各入力ごとの不確実性測度の提供。

提案手法

• Hedged Instance Embedding（HIB）は、各画像埋め込みを確率変数 Z ~ p(z|x) としてモデル化し、潜在空間における確率分布として不確実性を表現する。
• モデルの学習には変分情報ボトルネック（VIB）の原則を用い、確率的埋め込みのエンドツーエンド学習を可能にする。
• 学習可能なマージンを有するソフトコントラスト損失を採用し、シグモイドベースの類似度測度を用いてユークリッド距離を確率的マッチスコアに変換する。
• 埋め込み分布はガウス分布の混合としてモデル化され（例：曇った数字ペアの場合は2成分）、モデルが複数の妥当なクラスタに「賭けを分ける」ことができる。
• 不確実性は埋め込み分布のエントロピーによって測定され、エントロピーが高いほど入力の曇りが強いことを示す。
• モデルは、複数の数字が1枚の画像に含まれるような曇った入力を模擬する目的で設計された新規のN桁MNISTデータセットで訓練される。

実験結果

リサーチクエスチョン

• RQ1 確率的埋め込みが複数の潜在空間領域にわたって確率質量を分散させることで、決定的埋め込みと比較して曇った画像入力における性能が向上するか？
• RQ2 埋め込み分布から導出された不確実性測度が、クリーンな入力および損傷済み入力の両方において下流タスクの性能と相関するか？
• RQ3 入力が遮蔽されたり劣化したりした場合、HIB手法は画像マッチングおよび分類タスクでどのように性能を発揮するか？
• RQ4 不確実性測度は、曇った入力と、未知の分布外の例（新規クラス）を区別できるか？

主な発見

• HIBは、損傷済み入力において平均平均適合率（mAP）とKNN分類精度を向上させ、点埋め込みと比較して一部の設定でmAPが最大0.15上昇した。
• 埋め込み分布から計算される不確実性測度 η(x) は、性能と強く負の相関を示しており、予想通りに高い不確実性は低い精度に対応する。
• 損傷済み入力において、不確実性と性能のケンダールのtau相関はmAPで最大0.67、KNNで0.55に達し、明確な単調な関係性が確認された。
• 特に目に見える損傷がないクリーンな画像においても、不確実性測度は近隣距離の代理としての性能を上回った。
• HIBの不確実性測度は、クリーンで損傷のない画像に対しても性能と相関しており、入力劣化以上の内在的曇りを捉えていることが示唆された。
• 予備的な結果では、η(x) は遮蔽による不確実性とよく相関するが、未確認のクラスからのエピステミック不確実性のモデル化にはやや劣っているため、今後の開発においてオープンワールド不確実性のモデル化が求められる。