[論文レビュー] Tighter risk certificates for neural networks

María Pérez‐Ortiz, Omar Rivasplata+2 more|Research Explorer (The University of Manchester)|Jul 25, 2020

Adversarial Robustness in Machine Learning参考文献 63被引用数 32

ひとこと要約

この論文は、厳密な PAC-Bayes リスク境界に基づくトレーニング目的を用いて確率的ニューラルネットを訓練することを実証的に研究し、2つの新しい目的を提案し、古典的な境界と比較して非自明で緊密なリスク証明と競争力のあるテスト誤差を得る。

ABSTRACT

This paper presents an empirical study regarding training probabilistic neural networks using training objectives derived from PAC-Bayes bounds. In the context of probabilistic neural networks, the output of training is a probability distribution over network weights. We present two training objectives, used here for the first time in connection with training neural networks. These two training objectives are derived from tight PAC-Bayes bounds. We also re-implement a previously used training objective based on a classical PAC-Bayes bound, to compare the properties of the predictors learned using the different training objectives. We compute risk certificates for the learnt predictors, based on part of the data used to learn the predictors. We further experiment with different types of priors on the weights (both data-free and data-dependent priors) and neural network architectures. Our experiments on MNIST and CIFAR-10 show that our training methods produce competitive test set errors and non-vacuous risk bounds with much tighter values than previous results in the literature, showing promise not only to guide the learning algorithm through bounding the risk but also for model selection. These observations suggest that the methods studied here might be good candidates for self-certified learning, in the sense of using the whole data set for learning a predictor and certifying its risk on any unseen data (from the same distribution as the training data) potentially without the need for holding out test data.

研究の動機と目的

• PAC-Bayes境界をトレーニング目的として用いて確率的ニューラルネットワークを訓練することを調査する。
• 厳密な境界から派生した2つの新しい PAC-Bayes ベースのトレーニング目的を導入する。
• 予測子の品質とリスク証明を評価するために新しい目的を古典的な PAC-Bayes 目的と比較する。
• MNIST および CIFAR-10 で緊密で非自明なリスク証明を計算する能力を実証する。

提案手法

• ニューラルネットワークを重みの分布として定義し、確率的勾配降下法で訓練する。
• 2つの新しい目的を開発する：f_quad は PAC-Bayes-quadratic bound に由来し、f_lambda は PAC-Bayes-lambda bound に由来する。
• 比較のため古典的 PAC-Bayes 目的（f_classic）を再実装する。
• 学習済み予測子のリスク証明を、訓練データの一部を用いて計算する。
• データなしの事前分布とデータ依存の事前分布、およびさまざまなアーキテクチャを用いて実験する。
• Backprop と PAC-Bayes の関連を、Bayes-by-Backprop と照合し、訓練戦略を対比する。

実験結果

リサーチクエスチョン

• RQ1 PAC-Bayes ベースの訓練目的は、非自明で緊密なリスク証明を提供しつつ、競争力のあるテスト誤差を生み出すことができるか。
• RQ2 提案された f_quad および f_lambda の目的は、クラシックな PAC-Bayes 目的よりも緊密な証明を生み出すか。
• RQ3 データ依存の事前分布とデータなしの事前分布は、リスク証明と予測性能にどのような影響を与えるか。
• RQ4 これらの方法は、学習にすべてのデータを使用し、未見データのリスクを証明する自己認証学習を実現するか。
• RQ5 ネットワークアーキテクチャ（全結合 vs 畳み込み）が、証明の緊密さと精度に与える影響は何か。

主な発見

• 提案された PBB 訓練目的は、既存の手法と比較して競争力のあるテストセット誤差を達成する。
• 新しい目的で生成されるリスク証明は、古典的境界からのものより緊密である。
• このアプローチは、MNIST および CIFAR-10 で学習済みニューラルネットワークの非自明なリスク境界を示す。
• 古典的目的の再実装も改善結果を生み出すことがあり、訓練戦略が成果に寄与することを示唆する。
• データ依存の事前分布と多様なアーキテクチャは、証明の緊密さと予測性能に影響を与える。
• 結果は、予測子の学習と未見データのリスク証明を組み合わせた自己認証学習を支持する。