[論文レビュー] Cautious Deep Learning

Yotam Hechtlinger, Barnabás Póczos+1 more|arXiv (Cornell University)|May 24, 2018

Adversarial Robustness in Machine Learning参考文献 18被引用数 28

ひとこと要約

本稿では、$p(x|y)$ を用いた保険的（conformal）予測に基づく慎重な深層学習フレームワークを提案する。これにより、保証されたカバレッジを持つ集合値予測が可能となり、分布外の入力に対しては空集合を出力することで過信を軽減し、分布シフトや adversarial 攻撃に対しても耐性が向上する。ImageNet、CelebA、IMDB-Wiki データセットにおいて、最先端の畳み込みニューラルネットワークの特徴量を用いて検証された。

ABSTRACT

Most classifiers operate by selecting the maximum of an estimate of the conditional distribution $p(y|x)$ where $x$ stands for the features of the instance to be classified and $y$ denotes its label. This often results in a {\em hubristic bias}: overconfidence in the assignment of a definite label. Usually, the observations are concentrated on a small volume but the classifier provides definite predictions for the entire space. We propose constructing conformal prediction sets which contain a set of labels rather than a single label. These conformal prediction sets contain the true label with probability $1-α$. Our construction is based on $p(x|y)$ rather than $p(y|x)$ which results in a classifier that is very cautious: it outputs the null set --- meaning "I don't know" --- when the object does not resemble the training examples. An important property of our approach is that adversarial attacks are likely to be predicted as the null set or would also include the true label. We demonstrate the performance on the ImageNet ILSVRC dataset and the CelebA and IMDB-Wiki facial datasets using high dimensional features obtained from state of the art convolutional neural networks.

研究の動機と目的

• 曖昧な入力や分布外の入力に対しても明確なラベルを割り当てる標準的な深層学習分類器の過信問題に対処すること。
• 集合値予測を用いて、複数の妥当なラベルがある曖昧性（ambiguity）と、一貫したラベルがない外れ値（outlyingness）を区別すること。
• クラスの追加・削除に柔軟に対応しつつ、$P(Y \in C(X)) \geq 1 - \alpha$ の分布フリーな信頼性保証を提供すること。
• 空集合による検出を用いて、分布シフトや adversarial 攻撃に対する耐性を高めること。
• 最先端の CNN からの特徴量を用いて、大規模かつ高次元のデータに対して実用的な展開を可能とすること。

提案手法

• 各クラスごとに推定された尤度 $\widehat{p}(x|y)$ を用いて、予測集合 $C(x) = \{ y : \widehat{p}(x|y) > \widehat{t}_y \}$ を構築する。
• 保証されたカバレッジ $P(Y \in C(X)) \geq 1 - \alpha$ を満たすように、conformal 予測により閾値 $\widehat{t}_y$ を決定する。
• 各クラスに対して $\widehat{p}(x|y)$ を独立に推定することで、再訓練なしにクラスの追加・削除が可能となる。
• 高次元特徴量を、事前学習済みの畳み込みニューラルネットワークから得た入力として、尤度推定に用いる。
• 核密度推定や同様の非パラメトリック手法を用いて、各クラスの $\widehat{p}(x|y)$ をモデル化する。
• ユーザーが定義する信頼水準 $\alpha$ を用いて、予測精度と空集合予測の割合のトレードオフを調整する。

実験結果

リサーチクエスチョン

• RQ1 標準的な $p(y|x)$ を用いる手法と比較して、$p(x|y)$ を用いた深層学習分類器は、より優れた不確実性の定量化を実現できるか？
• RQ2 CelebA から IMDB-Wiki の顔画像データセットへの分布シフトが生じた場合、本手法はどのように性能を示すか？
• RQ3 本手法は、adversarial な例や分布外の入力を空集合を割り当てることで、どの程度正しく検出できるか？
• RQ4 ImageNet のような大規模データセットに対しても、有効なカバレッジ保証を維持できるか？
• RQ5 信頼水準 $\alpha$ を変化させた場合、精度と空集合予測率のトレードオフはどのように変化するか？

主な発見

• CelebA データセットでは、本手法は $1 - \alpha$ に近い精度を達成し、空集合予測の割合もおおよそ $\alpha$ に等しくなるため、有効なカバレッジが得られている。
• IMDB-Wiki データセットでは、標準的な分類器が失敗（精度 0.577）するが、本手法は特に低 $\alpha$ 時にランダム推測よりも顕著に高い精度を達成する。
• 本手法は分布シフトを正しく検出する：CelebA で学習した後、IMDB-Wiki でテストした場合、高い割合の空集合予測が出力され、分布外の入力を示している。
• 1 - \alpha を低く設定することで、偽陽性の割合が最小限に抑えられ、ユーザーがアプリケーションのニーズに応じて誤検出のタイプを制御できる。
• 顔のポーズや画像品質の差が顕著に現れる CelebA と IMDB-Wiki の間でも、本手法は顕著な分布シフトに耐性を示し、安定した性能を維持する。
• 本手法は柔軟なクラス管理を可能とし、モデル全体の再訓練なしにクラスの追加・削除が可能であり、カバレッジ保証を維持できる。