[論文レビュー] Selective Classification for Deep Neural Networks

Yonatan Geifman, Ran El‐Yaniv|arXiv (Cornell University)|May 23, 2017

Anomaly Detection Techniques and Applications参考文献 1被引用数 173

ひとこと要約

本論文は、訓練済みニューラル分類器fを拒否関数gで包み、目標リスクを高確率で保証する方法を提案し、DNNの高カバレッジ選択分類を実現する。SRとMC-dropoutの信頼度手法に基づくリスク制御をCIFAR-10/100およびImageNetで示し、信頼性の向上を図る。

ABSTRACT

Selective classification techniques (also known as reject option) have not yet been considered in the context of deep neural networks (DNNs). These techniques can potentially significantly improve DNNs prediction performance by trading-off coverage. In this paper we propose a method to construct a selective classifier given a trained neural network. Our method allows a user to set a desired risk level. At test time, the classifier rejects instances as needed, to grant the desired risk (with high probability). Empirical results over CIFAR and ImageNet convincingly demonstrate the viability of our method, which opens up possibilities to operate DNNs in mission-critical applications. For example, using our method an unprecedented 2% error in top-5 ImageNet classification can be guaranteed with probability 99.9%, and almost 60% test coverage.

研究の動機と目的

• 深層ニューラルネットワークの選択的分類（拒否オプション）を動機づけ、ミッション・クリティカルなタスクで信頼性を向上させる。
• 訓練済みfと信頼度-rate関数が与えられた場合、リスク制御を保証する選択分類器を構築する実用的手法（SGR）を提案する。
• SRとMC-dropout信頼度関数を標準データセット（CIFAR-10/100、ImageNet）で評価し、リスクとカバレッジのトレードオフを定量化する。
• アーキテクチャ（VGG-16, ResNet-50）を跨いだテストカバレッジとほぼ目標リスクの達成を示す。

提案手法

• 基になる分類器fを、fを基分類器、gを拒否関数とする選択的分類器（f,g）を定義する。
• サンプルを受け入れる閾値 thetaを用いて、kappa_f(x) >= theta の場合に受理する、kappa_fに基づく信頼度-rate関数 g_theta を導入する。
• 選択的保証リスク（SGR）アルゴリズムを提案し、信頼度を高く保ったままターゲットリスク r* を達成するために theta を二分探索する bound b* を用いる。
• Gascuel & Caraux の数値的境界 B*(hat{r}, delta, S_m) を用いて R(f|P) <= B*(...) を保証する。
• 2つの信頼度-rate関数を考える：ソフトマックス応答（SR） = max_j f(x|j) と MC-dropoutベースの不確実性、そして不確実性を信頼度-rateとして差し引く。
• 訓練済みネットワーク（VGG-16, ResNet-50）にSGRを適用し、CIFAR-10/100およびImageNetでリスク-カバレッジ曲線と保証リスク境界を得る。

実験結果

リサーチクエスチョン

• RQ1 固定されたニューラル予測子fに対して、保証されたリスクを持つ選択的分類器を構築できるか？
• RQ2 SRとMC-dropout信頼度関数は、SGRと組み合わせたときに標準データセットでリスク-カバレッジの性能を発揮するか？
• RQ3 CIFAR-10, CIFAR-100, ImageNet において、特定リスクを保証しつつどの程度のカバレッジを達成できるか？
• RQ4 方法は異なるアーキテクチャ（VGG-16, ResNet-50）とタスク（ImageNetのトップ-1/トップ-5）に拡張できるか？

主な発見

望ましいリスク r*	訓練リスク	訓練カバレッジ	テストリスク	テストカバレッジ	リスク境界 b*
0.01	0.0079	0.7822	0.0092	0.7856	0.0099
0.02	0.0160	0.8482	0.0149	0.8466	0.0199
0.03	0.0260	0.8988	0.0261	0.8966	0.0298
0.04	0.0362	0.9348	0.0380	0.9318	0.0399
0.05	0.0454	0.9610	0.0486	0.9596	0.0491
0.06	0.0526	0.9778	0.0572	0.9784	0.0600

• SR と MC-dropout は CIFAR-10/100 でほぼ同じリスク-カバレッジ曲線を示す一方、ImageNet のトップ-1 およびトップ-5 では SR が MC-dropout を上回る。
• SGR はテストリスクをターゲット r* を超えずに高い確率で達成し、境界 b* は r* に近い厳密さを提供する。
• CIFAR-10 で delta=0.001 の場合、方法は 1% の誤りを保証し、テストカバレッジは 78%以上。
• CIFAR-100 で delta=0.001、方法は r* の値に対してリスクを管理しつつ実質的なカバレッジを達成し、従来の結果を上回る。
• ImageNet では VGG-16 と ResNet-50 の SGR はトップ-1 およびトップ-5で制御されたリスクを示し、著しく高いカバレッジ（多くの場合60%を超える）を達成。