[論文レビュー] Soft Labeling Affects Out-of-Distribution Detection of Deep Neural Networks

Doyup Lee, Yeongjae Cheon|arXiv (Cornell University)|Jul 7, 2020

Adversarial Robustness in Machine Learning参考文献 15被引用数 5

ひとこと要約

この論文は、教師モデルからの知識蒸留を用いたソフトラベル化——特に、外部データを用いた教師モデルの訓練——が、追加のOODデータやモデルアーキテクチャの変更なしに、深層ニューラルネットワークにおける分布外（OOD）検出を顕著に向上させることを示している。教師モデルから得られるソフトラベルを用いて訓練された学生モデルは、分類精度やキャリブレーションを維持または向上させながら、最先端のOOD検出性能を達成する。

ABSTRACT

Soft labeling becomes a common output regularization for generalization and model compression of deep neural networks. However, the effect of soft labeling on out-of-distribution (OOD) detection, which is an important topic of machine learning safety, is not explored. In this study, we show that soft labeling can determine OOD detection performance. Specifically, how to regularize outputs of incorrect classes by soft labeling can deteriorate or improve OOD detection. Based on the empirical results, we postulate a future work for OOD-robust DNNs: a proper output regularization by soft labeling can construct OOD-robust DNNs without additional training of OOD samples or modifying the models, while improving classification accuracy.

研究の動機と目的

• ソフトラベル化が深層ニューラルネットワークにおける分布外（OOD）検出性能に与える影響を調査すること。
• OODサンプルの明示的訓練を必要としない状況で、ソフトラベル化がOOD検出を向上させられるかを検討すること。
• 出力正則化としてのソフトラベルが、OOD耐性と分布内一般化の両方を同時に向上させられるかを特定すること。
• 教師モデルから学生モデルへのソフトラベル蒸留を通じて、OOD検出性能の転送が可能かどうかを評価すること。
• ソフトラベル化が、外れ値露出法などにおいてよく見られる精度の低下を緩和できるかを評価すること。

提案手法

• TinyImageNet上で外部データ露出（OE）を用いて訓練したWideResNet（WRN-40-2）を教師モデルとして訓練し、OOD検出性能を向上させる。
• 訓練済みの教師モデルを用いて、分布内訓練サンプルのソフトラベル（すべてのクラスに対する確率分布）を生成する。
• 教師モデルから得たソフトラベルを用いて、学生モデル（同じまたは異なるアーキテクチャ）を訓練する。この際、学習中にOODサンプルを一切使用しない。
• ラベルスムージングと知識蒸留を、交差エントロピーと真のラベルおよびソフトターゲットの重み付き組み合わせとして定式化したソフトラベル化の具体例として用いる。
• 複数のOODデータセット（例：MNIST、Fashion-MNIST、LSUN、TinyImageNet）におけるAUROCを用いてOOD検出を評価し、期待キャリブレーション誤差（ECE）を用いてキャリブレーションを評価する。
• ベースライン、外部データ露出済み、および蒸留された学生モデルの性能を比較し、ソフトラベル化がOOD耐性に与える影響を隔離する。

実験結果

リサーチクエスチョン

• RQ1 ソフトラベル化は、深層ニューラルネットワークの分布外検出性能にどのように影響を与えるか？
• RQ2 外部データ露出で訓練された教師モデルからの知識蒸留により、学生モデルの学習時にOODサンプルを一切使用しなくても、高品質なOOD検出性能を転送できるか？
• RQ3 ソフトラベル化は、外れ値露出法でよく見られるトレードオフに反して、OOD検出性能と分布内分類精度の両方を向上させられるか？
• RQ4 学生モデルのOOD検出性能は、その教師モデルが生成したソフトラベルに依存しており、異なるアーキテクチャ間でモデルに依存しない（アーキテクチャに依存しない）影響を及ぼすか？
• RQ5 OODデータを訓練に使用せず、モデル構造を変更せず、未観測のOODサンプルに対しても耐性を持つDNNを設計するためのソフトラベル戦略を構築できるか？

主な発見

• 外部データ露出を経験した教師モデルからの知識蒸留により、学生モデルは分布内データのみで訓練されていても、高いOOD検出性能を効果的に転送することができる。
• 教師モデルがMNIST+TinyImageNetを露出した場合、学生モデルはMNIST や TinyImageNet などの複数のOODデータセットで、教師モデルと同等またはそれ以上のAUROCスコアを達成する。
• ベースラインと比較して、学生モデルのテスト精度および期待キャリブレーション誤差（ECE）が向上または維持されており、外れ値露出法でよく見られる精度の低下を是正している。
• ラベルスムージングはOOD検出性能を劣化させるため、OOD耐性に寄与するソフトラベル戦略の選定が極めて重要であることが示唆される。
• 学生モデルのOOD検出性能は、教師モデルのそれと密接に一致しており、ソフトラベル化の効果がアーキテクチャに依存せず、異なるモデル（例：WRNとDenseNet）間でも転送可能であることを示している。
• 良好に訓練された教師モデルを用いて誤ったクラスに対する予測を正則化するソフトラベル戦略を採用することで、追加のOODデータやモデル変更なしに、OODに強いDNNを構築できる。