[論文レビュー] Deep pNML: Predictive Normalized Maximum Likelihood for Deep Neural Networks

Koby Bibas, Yaniv Fogel+1 more|arXiv (Cornell University)|Apr 28, 2019

Adversarial Robustness in Machine Learning参考文献 23被引用数 12

ひとこと要約

この論文は、ノイズのあるラベルや敵対的攻撃の下でも標準的なERMを上回る精度とlog-lossを達成する、深層ニューラルネットワーク向けの予測的正規化最大尤度フレームワーク、Deep pNMLを提案する。これは、分布外および敵対的サンプルを検出できるポイントワイズな学習可能性測度（Γ）を導入し、モデルクラス選択のための「二重ユニバーサル」スキームに拡張することで、CIFAR10およびMNISTにおいてDNNアーキテクチャやハイパーパrameterのあらゆる組み合わせで優れた性能を達成した。

ABSTRACT

The Predictive Normalized Maximum Likelihood (pNML) scheme has been recently suggested for universal learning in the individual setting, where both the training and test samples are individual data. The goal of universal learning is to compete with a ``genie'' or reference learner that knows the data values, but is restricted to use a learner from a given model class. The pNML minimizes the associated regret for any possible value of the unknown label. Furthermore, its min-max regret can serve as a pointwise measure of learnability for the specific training and data sample. In this work we examine the pNML and its associated learnability measure for the Deep Neural Network (DNN) model class. As shown, the pNML outperforms the commonly used Empirical Risk Minimization (ERM) approach and provides robustness against adversarial attacks. Together with its learnability measure it can detect out of distribution test examples, be tolerant to noisy labels and serve as a confidence measure for the ERM. Finally, we extend the pNML to a ``twice universal'' solution, that provides universality for model class selection and generates a learner competing with the best one from all model classes.

研究の動機と目的

• 個々の設定において最適なジーニ・ラーナーと競合できるユニバーサルな学習フレームワークを、深層ニューラルネットワーク向けに開発すること。
• ミニマックスレジーフレームワークに基づくポイントワイズな学習可能性測度（Γ）を導入し、特定のデータポイントの学習の難易度を定量化すること。
• 標準的なERMと比較して、ノイズのあるラベルおよび敵対的サンプルに対する耐性を向上させること。
• pNMLフレームワークを、例えば微調整層の数などのハイパーパrameterを含む複数のモデルクラスを横断して最適なモデルを選択する「二重ユニバーサル」スキームに拡張すること。
• 標準ベンチマーク（CIFAR10、MNIST）上で手法を検証し、精度、log-loss、一般化検出性能において優位性を示すこと。

提案手法

• pNML予測子は、q_pNML(y|z^N;x) = max_θ p_θ(y|x,z^N) / sum_y max_θ p_θ(y|x,z^N) として定義され、最適なミニマックスレジーフレームワークを保証する。
• レジーフレームワーク Γ = log(sum_y max_θ p_θ(y|x,z^N)) は、個々のデータポイントの学習可能性をポイントワイズに測定する指標として機能する。
• 各テストサンプルに対してモデルパラメータを最適化する微調整フェーズを用いることで、pNMLが各テストインスタンスに適応可能になる。
• 二重ユニバーサルアプローチは、複数のモデルクラス（例えば、微調整層の数が異なるものなど）におけるpNMLを組み合わせ、各テストサンプルに対して最もパフォーマンスの良いモデルを選択する。
• フレームワークは標準的なDNNを用い、評価指標としてlog-lossを採用し、pNMLはモデルパラメータに関する最大化により計算される。
• 手法は、CIFAR10およびMNIST上で、精度、log-loss、レジーフレームワークを指標として評価され、ERMおよびジーニーベンチマークと比較された。

実験結果

リサーチクエスチョン

• RQ1 pNMLフレームワークは、深層ニューラルネットワークに効果的に適用可能であり、ERMを上回る一般化性能を達成できるか？
• RQ2 pNMLのレジーフレームワーク測度（Γ）は、DNNにおける個々のデータポイントの学習可能性を信頼できるポイントワイズ指標として機能するか？
• RQ3 ノイズのあるラベル（ε=0.05）および敵対的テストサンプルの下で、pNMLはERMよりも優れた性能を示すか？
• RQ4 モデルクラス（例：微調整層の数）を横断して最適なモデルを選択する「二重ユニバーサル」pNMLアプローチは、ERMおよび単一クラスのpNMLを上回る性能を示せるか？
• RQ5 pNMLフレームワークは、分布外および敵対的テストサンプルを検出するのに十分な耐性を有しているか？

主な発見

• CIFAR10では、二重ユニバーサルpNMLがテスト精度0.920、log-loss 0.168を達成し、すべての個別モデルクラスを上回り、最良のERM性能と一致した。
• MNISTでは、二重ユニバーサルpNMLが0.950の精度と0.081のlog-lossを達成し、最良の単一モデルpNMLおよびERMをも上回った。
• ノイズのあるラベル（ε=0.05）の下では、pNMLは0.27の精度と1.72のlog-lossを維持し、ERMの0.26の精度と3.22のlog-lossと比較して顕著に優れた性能を示した。
• pNMLのレジーフレームワーク測度（Γ）は、分布外および敵対的サンプルを効果的に検出でき、高いレジーフレームワーク値は低い信頼性と高い異常度を示した。
• pNMLフレームワークは、FGSM攻撃下でも、ERMよりも低いlog-lossと高い精度を維持し、敵対的攻撃に対して優れた耐性を示した。
• ポイントワイズなレジーフレームワーク測度Γは、他の一般化測度（例：VC次元）が失敗する「学習可能」とされる状況でさえも、DNNに対して情報量が多く妥当であることが判明した。