[論文レビュー] SelectiveNet: A Deep Neural Network with an Integrated Reject Option

Yonatan Geifman, Ran El‐Yaniv|arXiv (Cornell University)|Jan 26, 2019

Domain Adaptation and Few-Shot Learning被引用数 62

ひとこと要約

SelectiveNet は、予測と拒否を統合した拒否オプションを備えたエンドツーエンドの三つ頭のネットワークを訓練し、分類と回帰タスク全般において標準の信頼度ベースの拒否法よりもリスク-カバレッジのトレードオフを改善する。

ABSTRACT

We consider the problem of selective prediction (also known as reject option) in deep neural networks, and introduce SelectiveNet, a deep neural architecture with an integrated reject option. Existing rejection mechanisms are based mostly on a threshold over the prediction confidence of a pre-trained network. In contrast, SelectiveNet is trained to optimize both classification (or regression) and rejection simultaneously, end-to-end. The result is a deep neural network that is optimized over the covered domain. In our experiments, we show a consistently improved risk-coverage trade-off over several well-known classification and regression datasets, thus reaching new state-of-the-art results for deep selective classification.

研究の動機と目的

• 深層ネットの選択的予測（拒否オプション）を動機づけ、カバレッジ制約で拒否を最適化する。
• 固定されたカバレッジ目標の下で、予測と選択を共同で学習するエンドツーエンド深層のアーキテクチャを提案する。
• 分類と回帰タスクにおいて、従来の信頼度ベースの拒否よりも優れたリスク–カバレッジ性能を示す。
• カバレッジを学習しつつ、内部点のような損失を用いてカバレッジを強制するスケーラブルな訓練アプローチを提供する。

提案手法

• SelectiveNet を導入する。予測ヘッド、選択ヘッド、補助ヘッドの三つの頭部を共有表現の上に構築したネットワーク。
• ターゲットカバレッジを内部点のような手法で強制する二次関数的なペナルティを組み合わせた予測リスクと選択の損失 L_(f,g) を定式化する。
• 主本体が予測と拒否の両方に有用な特徴を学ぶよう、選択損失と補助予測損失の凸結合で訓練する。
• 検証セット上での後処理による較正手法を用いて、選択ヘッド出力を閾値化して望ましいテストカバレージにより良く一致させる。
• 組み合わせパラメータ alpha を 0.5 に、制約重み lambda を 32 に設定し、損失項間の安定したトレードオフを提供する。
• 分類（SVHN、CIFAR-10、Cats vs. Dogs）と回帰（Concrete Compressive Strength）タスクの両方で評価し、SR および MC-dropout と比較する。

実験結果

リサーチクエスチョン

• RQ1 単一のエンドツーエンド訓練済みネットワークは、あるカバレージ要件に対していつ拒否し、何を予測すべきかを学習できるか。
• RQ2 予測ヘッドと拒否ヘッドを共同訓練することは、事前訓練モデルに対して別個の信頼度ベース拒否オプションを適用するよりも、リスク-カバレッジのトレードオフを改善するか。
• RQ3 SelectiveNet は、標準的な選択方法と比較して分類と回帰の双方でどの程度性能を発揮するか。
• RQ4 訓練後の実測カバレージを目標カバレージに合わせるための有効な較正戦略は何か。

主な発見

• SelectiveNet は、分類タスクにおいて CIFAR-10、SVHN、Cats vs. Dogs のいずれにおいても Softmax Response (SR) および Monte Carlo dropout (MC-dropout) よりリスク–カバレッジのトレードオフを一貫して改善する。
• 回帰では、SelectiveNet は高いしきい値以下のカバレージレベルで MC-dropout を上回り、アンサンブル法への迅速な代替を提供する。
• 後処理による較正方法は、テストカバレージを目標に近づけ、定量的な境界を提供でき、較正された SelectiveNet は選択されたカバレージに対してほぼ最適である傾向にある。
• 三つ頭のアーキテクチャは、主本体が予測の正確さと効果的な拒否の両方を支援する表現を学べるようにすることを、表現分析によって示している。