[論文レビュー] A Simple Framework for Uncertainty in Contrastive Learning

Mike Wu, Noah D. Goodman|arXiv (Cornell University)|Oct 5, 2020

Domain Adaptation and Few-Shot Learning参考文献 64被引用数 4

ひとこと要約

本論文は、事前学習された対照的表現の上に、埋め込みを確率分布へマッピングする深層ネットワークを訓練することで、不確実性推定を学習するシンプルなフレームワーク、Deep Uncertainty Model (DUM) を提案する。DUM は不確実性を考慮した表現学習を可能にし、アノマリ検出で最先端の性能（最大14%の絶対的改善）を達成するとともに、ラベルなしで分布外検出においても競争力のある結果を示す。

ABSTRACT

Contrastive approaches to representation learning have recently shown great promise. In contrast to generative approaches, these contrastive models learn a deterministic encoder with no notion of uncertainty or confidence. In this paper, we introduce a simple approach based on "contrasting distributions" that learns to assign uncertainty for pretrained contrastive representations. In particular, we train a deep network from a representation to a distribution in representation space, whose variance can be used as a measure of confidence. In our experiments, we show that this deep uncertainty model can be used (1) to visually interpret model behavior, (2) to detect new noise in the input to deployed models, (3) to detect anomalies, where we outperform 10 baseline methods across 11 tasks with improvements of up to 14% absolute, and (4) to classify out-of-distribution examples where our fully unsupervised model is competitive with supervised methods.

研究の動機と目的

• 決定論的な対照的表現学習モデルにおける不確実性推定の欠如に対処すること。
• 不確実性を考慮した表現を通じて、モデル行動の解釈可能性を高めること。
• 再訓練なしに、展開済みモデルにおける新しい視覚的破損やアノマリを検出すること。
• 教師あり手法に匹敵する性能を示す無教師の分布外検出を実現すること。
• 既存の対照的モデル（例：SimCLR）と互換性のあるプラグインソリューションを提供すること。

提案手法

• 事前学習済みの対照的埋め込みから、多変量正規分布（平均と分散）を予測する深層ニューラルネットワークを訓練する。
• 表現空間内での真のデータ分布と代替分布を区別するのを促進する対照的目的関数を用いる。
• 真の埋め込み分布をポジティブ例とし、摂動を加えたまたは負の分布をネガティブ例とする対照的損失を最適化することで、不確実性モデルを学習する。
• アノマリ検出や OOD 検出などの下流タスクにおいて、予測された分散を信頼度スコアとして活用する。
• 微調整なしに事前学習済み表現に適用可能であり、即座に不確実性推定が可能になる。
• DUM の分散を、表現の難易度の代理指標として用いることで、モデルの信頼度の視覚的解釈性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの対照的表現の上に、学習可能な不確実性ヘッドをシンプルに構築し、信頼度を推定できるか？
• RQ2 不確実性推定は、展開済みモデルにおける新しい視覚的ノイズの検出を改善できるか？
• RQ3 不確実性に基づくアノマリ検出は、多様なベンチマークで既存の最先端手法を上回ることができるか？
• RQ4 無教師の不確実性モデルは、教師あり OOD 検出手法と同等の性能を達成できるか？
• RQ5 不確実性は表現の品質やモデルの難易度とどのように相関するか？

主な発見

• DUM フレームワークは、11のベンチマークタスクにおいて、10のベースライン手法と比較して最大14%の絶対的改善を達成した。
• モデルは、実世界の展開における分布シフトに対して強く、画像内の新しい視覚的ノイズを高い精度で検出できた。
• DUM を用いた不確実性測定は、効果的な視覚的解釈性を提供し、高分散の埋め込みは曖昧または埋め込みが難しい例に対応していた。
• 完全に無教師であるにもかかわらず、DUM は標準ベンチマークで複数の教師あり OOD 検出手法を上回った。
• DUM が予測する分散は、表現の難易度と強く相関しており、意味のある信頼度指標を提供した。
• 本手法は、SimCLR などの既存の対照的学習フレームワークと互換性があり、事前学習済みエンコーダーの変更が不要である。