[論文レビュー] Out-of-Distribution Detection using Multiple Semantic Label Representations

Gabi Shalev, Yossi Adi+1 more|arXiv (Cornell University)|Aug 20, 2018

Adversarial Robustness in Machine Learning参考文献 40被引用数 37

ひとこと要約

本論文は、トレーニング中に複数の意味的単語埋め込みを監視信号として用いる、新しい分布外（OOD）検出手法を提案する。これにより、出力表現のL2ノルムを用いて、OOD、アドバーシャル、誤分類例を検出可能となる。この手法は、アドバーシャル例に対して62.04%の検出率を達成し、アンサンブルベースライン比18%高い。同時に、監視における意味的多様性により、ロバスト性を維持する。

ABSTRACT

Deep Neural Networks are powerful models that attained remarkable results on a variety of tasks. These models are shown to be extremely efficient when training and test data are drawn from the same distribution. However, it is not clear how a network will act when it is fed with an out-of-distribution example. In this work, we consider the problem of out-of-distribution detection in neural networks. We propose to use multiple semantic dense representations instead of sparse representation as the target label. Specifically, we propose to use several word representations obtained from different corpora or architectures as target labels. We evaluated the proposed model on computer vision, and speech commands detection tasks and compared it to previous methods. Results suggest that our method compares favorably with previous work. Besides, we present the efficiency of our approach for detecting wrongly classified and adversarial examples.

研究の動機と目的

• 深層ニューラルネットワークにおける分布外入力を検出するという重要な課題に取り組む。特に、モデルが過信した予測を出すことがあるためである。
• アンサンブル学習やアーキテクチャの変更を必要とせずに、DNNにおける不確実性推定を改善すること。
• 単語埋め込みの意味的多様性を、検出のロバスト性を高めるための監視の再冗長性として活用すること。
• 出力表現のL2ノルムが、信頼性のあるOOD検出スコアとして機能できるかどうかを検証すること。
• 視覚および音声タスクにおいて、アドバーシャル例および誤分類例を含めて、この手法を評価すること。

提案手法

• 各クラスに対して、異なるコーパスやアーキテクチャから得られる複数の異なる単語埋め込み（例：異なるコーパスやアーキテクチャからのもの）を、標準のワンホットエンコーディングに代えてターゲットラベルとして使用してモデルをトレーニングする。
• 各クラスはK個の異なる意味的表現で監視され、モデルは入力特徴からこれらの埋め込みを予測するK個の回帰ヘッドを学習する。
• 推論時、すべてのK個の回帰ヘッドからの予測が集約され、出力ベクトルのL2ノルムがOOD検出の信頼性スコアとして使用される。
• この手法は、埋め込み間の意味的構造を活用して意味的に整合性のある予測を生成する一方で、異なるトレーニングデータとアーキテクチャによる多様性を導入する。
• すべての回帰ヘッド間で共通の特徴表現を共有することで、パラメータの効率性と共有特徴学習を実現する。
• 出力のL2ノルムにしきい値を設定し、入力を分布内または分布外に分類する。このしきい値は、検証データに基づいて経験的に調整される。

実験結果

リサーチクエスチョン

• RQ1 標準のワンホットラベルと比較して、複数の意味的単語埋め込みを監視として用いることで、分布外検出が向上するか？
• RQ2 モデルの出力表現のL2ノルムは、不確実性およびOOD状態と相関するか？
• RQ3 本手法は、アンサンブルベースラインと比較して、アドバーシャル例の検出においてどう異なるか？
• RQ4 L2ノルムは誤分類例の検出にも有効であり、それらの表現ノルムに一貫したパターンが見られるか？
• RQ5 アーキテクチャの変更や標準監視を超えた追加学習なしに、OOD入力を検出可能か？

主な発見

• 提案手法は、アドバーシャル例に対して62.04%の検出率を達成し、アンサンブルベースラインの43.88%を大きく上回った。
• 偽陽性率を3%に制限した場合、提案手法は28.64%の検出率を達成したのに対し、アンサンブルは15.41%であった。これは13%の改善である。
• アドバーシャル例では、アンサンブルと比較して予測間の不一致（順位差の指標）が顕著に高かった。これは、摂動に対してより感受性が高いことを示唆している。
• 誤分類例および分布外例は、正しく分類された例と比較して、出力表現のL2ノルムが著しく低いことが一貫して観察された。
• ImageNet OOD検出において、本手法はAUPROC 89.58、AUPR-Out 47.2を達成し、AUPR-Outでアンサンブルベースラインを上回った。
• 出力表現のL2ノルムは、不確実性の指標として信頼性があり、先行研究における表現ノルムの研究結果とも整合した。