[論文レビュー] NADS: Neural Architecture Distribution Search for Uncertainty Awareness

Randy Ardywibowo, Shahin Boluki+3 more|arXiv (Cornell University)|Jun 11, 2020

Adversarial Robustness in Machine Learning被引用数 10

ひとこと要約

NADSは、WAICスコアの最大化によるアーキテクチャ分布の学習を通じて、不確実性に配慮したモデルアーキテクチャを最適化する、革新的なニューラルアーキテクチャ分布探索フレームワークを導入している。これにより、OoD訓練データを必要とせず、15のOoD検出設定において、最先端の手法よりも最大57%高い精度を達成できる。

ABSTRACT

Machine learning (ML) systems often encounter Out-of-Distribution (OoD) errors when dealing with testing data coming from a distribution different from training data. It becomes important for ML systems in critical applications to accurately quantify its predictive uncertainty and screen out these anomalous inputs. However, existing OoD detection approaches are prone to errors and even sometimes assign higher likelihoods to OoD samples. Unlike standard learning tasks, there is currently no well established guiding principle for designing OoD detection architectures that can accurately quantify uncertainty. To address these problems, we first seek to identify guiding principles for designing uncertainty-aware architectures, by proposing Neural Architecture Distribution Search (NADS). NADS searches for a distribution of architectures that perform well on a given task, allowing us to identify common building blocks among all uncertainty-aware architectures. With this formulation, we are able to optimize a stochastic OoD detection objective and construct an ensemble of models to perform OoD detection. We perform multiple OoD detection experiments and observe that our NADS performs favorably, with up to 57% improvement in accuracy compared to state-of-the-art methods among 15 different testing configurations.

研究の動機と目的

• OoD検出における不確実性評価のための体系的なアーキテクチャ設計の欠如に対処すること。
• 標準的なNASが精度最適化に特化しているのに対し、不確実性への配慮を欠いているという限界を克服すること。
• 予測不確実性を安定的に推定できるアーキテクチャの分布を同定する探索手法を開発すること。
• OoD誤分類に対して頑健であることが知られるペナルティ付き尤度スコアであるWAICを最適化することで、OoD検出性能を向上させること。
• 学習済みアーキテクチャ分布からベイジアンアンサンブルを構築し、不確実性推定を強化すること。

提案手法

• NADSは、単一のアーキテクチャではなく、アーキテクチャの分布に関する確率的最適化問題としてアーキテクチャ探索を定式化する。
• 微分可能アーキテクチャ探索（DARTS風）を用いた離散的アーキテクチャ探索空間の連続的リラクゼーションにより、パラメータ化されたアーキテクチャ分布を実現する。
• 探索の目的は、過学習を抑制し、不確実性のキャリブレーションを向上させるベイジアン推定の予測精度指標であるWidely Applicable Information Criterion（WAIC）を最大化すること。
• Glow（Kingma & Dhariwal, 2018）にインspiredされた新規な生成的探索空間により、多様で不確実性に配慮したアーキテクチャの効率的サンプリングとパラメータ化が可能になる。
• 学習された事後アーキテクチャ分布を用いて、WAICに基づくスコアリングによりOoD検出用のベイジアンアンサンブルを構築する。
• アーキテクチャ間での重み共有により、計算コストを低減しつつ高い性能を維持する効率的な学習と推論が可能になる。

実験結果

リサーチクエスチョン

• RQ1 不確実性に配慮したOoD検出で優れた性能を発揮するモデルに、一貫して共通するアーキテクチャ的要素は何か？
• RQ2 尤度ではなくWAICを最適化することで、OoD検出性能と不確実性キャリブレーションが向上するか？
• RQ3 単一のアーキテクチャではなく、アーキテクチャの分布を学習することで、より優れた不確実性評価とOoD検出が達成できるか？
• RQ4 NADSは、OoDデータを学習時に使用するOutlier Exposureなどの既存のOoD検出手法と比べて、どのように性能を発揮するか？
• RQ5 OoD訓練データにアクセスできない状況でも、NASベースのアプローチが最先端のOoD検出を達成できるか？

主な発見

• NADSは、15の異なるインダーレーションおよびアウトオブダーレーションデータペアにおいて、最先端の手法よりも最大57%高いOoD検出精度を達成した。
• MSPやODINのベースラインと比べて顕著に優れており、特に低周波数の異常検出において、一貫して高いAUPRスコアを示した。
• OoDサンプルを探索や学習プロセスで一切使用していないにもかかわらず、OoDデータを学習時に使用するOutlier Exposure（OE）と同等の性能を発揮した。
• 学習されたアーキテクチャ分布から、以下の設計原則が明らかになった：単純な浅い層、情報保持型の演算、安定性を高めるための深く接続されたスキップ構造。
• アーキテクチャ分布から導出されたベイジアンアンサンブルは、多様なOoDデータセットにおいて不確実性推定の精度とロバスト性を向上させた。
• ODINとは異なり、NADSはさまざまなOoD分布に対して一貫した性能を示し、安定性を確認した。