[論文レビュー] Dichotomize and Generalize: PAC-Bayesian Binary Activated Deep Neural Networks

Gaël Letarte, Pascal Germain+2 more|arXiv (Cornell University)|May 24, 2019

Machine Learning and ELM被引用数 11

ひとこと要約

本稿では、符号活性化関数を用いたバイナリ活性化深層ニューラルネットワーク（BAMネットワーク）を訓練するためのPAC-Bayesianフレームワーク、PBGNetを提案する。この手法により、構造的またはマージンに関する仮定なしに非空虚な一般化境界が得られる。重み分布の集約を行う境界に配慮した損失関数を最小化することで、i.i.d.データの仮定のもとで、実データセットにおいて競争力ある精度を達成するとともに、きつい非空虚な一般化保証を提供する。

ABSTRACT

We present a comprehensive study of multilayer neural networks with binary activation, relying on the PAC-Bayesian theory. Our contributions are twofold: (i) we develop an end-to-end framework to train a binary activated deep neural network, (ii) we provide nonvacuous PAC-Bayesian generalization bounds for binary activated deep neural networks. Our results are obtained by minimizing the expected loss of an architecture-dependent aggregation of binary activated deep neural networks. Our analysis inherently overcomes the fact that binary activation function is non-differentiable. The performance of our approach is assessed on a thorough numerical experiment protocol on real-life datasets.

研究の動機と目的

• バイナリ（符号）活性化関数を用いた深層ニューラルネットワークの理論的裏付けのある訓練フレームワークの開発。
• 最小限の仮定（i.i.d.トレーニングデータのみ）の下でBAMネットワークに対する非空虚なPAC-Bayesian一般化境界の導出。
• PAC-Bayesianフレームワーク内での符号活性化関数の非微分可能性に対処するため、ネットワークの連続的集約を活用する。
• 実世界のバイナリ分類データセットにおける実験的検証を通じて、競争力ある精度ときつい一般化境界を達成する。
• 事前学習と境界に基づくモデル選択の活用による、より高いロバストネスと一般化性能の向上の探求。

提案手法

• 本手法はPAC-Bayesianフレームワークを用い、BAMネットワークの重み分布の上での期待損失を最小化する。ネットワーク重みを確率的変数として扱う。
• 事前分布と事後分布のKullback-Leibler発散に加え、経験的リスクを用いて期待一般化誤差の境界を定式化する。
• 経験的リスクと正則化された境界項を組み合わせた学習目的関数を採用することで、符号関数の非微分性にもかかわらずエンドツーエンドの学習が可能になる。
• 計算コストを低減するためのサンプリングスキームを導入し、理論的保証を維持したままスケーラブルな手法を実現する。
• 線形分類器に対するPAC-Bayesian境界の先行研究を活用し、符号活性化を備えた深層アーキテクチャへと拡張する。
• モデル選択には一般化境界値を基準として用い、誤差が低くかつ理論的保証がきついモデルを促進する。

実験結果

リサーチクエスチョン

• RQ1 最小限の仮定（i.i.d.トレーニングデータのみ）の下で、符号活性化関数を備えた深層ニューラルネットワークに対して非空虚なPAC-Bayesian一般化境界を導出できるか？
• RQ2 PAC-Bayesian最適化フレームワーク内において、符号活性化関数の非微分性はどのように扱えるか？
• RQ3 経験的リスクと一般化境界の両方を同時に最小化する訓練アルゴリズムを設計でき、ロバストネスの向上に寄与するか？
• RQ4 一般化境界をモデル選択基準として用いることで、テスト誤差と一般化ギャップにどのような影響を与えるか？
• RQ5 事前学習は、小規模データセットにおける性能と一般化保証の向上に寄与するか？

主な発見

• PBGNetは、MNISTやAdultといった実データセットにおいて、MNIST17では0.004、Adultでは0.149という低いテスト誤差率を達成する。
• 95％の信頼水準で非空虚な一般化境界を提供し、MNIST17では最小で0.010、Adultでは0.164の境界値を達成する。
• 境界をコスト関数として用いる（PBGNet ℓ-bnd）ことで、一般化境界がよりきつくなる（例：Adsでは0.060）一方で、テスト精度は競争力を持つ。
• 境界値を含めたモデル選択プロセスにより、訓練誤差とテスト誤差のギャップが縮小され、過学習に対するロバストネスの向上が示唆される。
• 小規模データセット（Ads）では事前学習が顕著に性能を向上させ、境界値は0.060に低下し、テスト誤差は0.033の低水準を維持する。
• 一般化性能と計算コストの間で良好なトレードオフを実現しており、サンプリングスキームによりトレーニング時間が短縮されている。