[論文レビュー] Information-theoretic analysis of generalization capability of learning algorithms

Aolin Xu, Maxim Raginsky|arXiv (Cornell University)|May 22, 2017

Stochastic Gradient Optimization Techniques参考文献 9被引用数 102

ひとこと要約

本論文は、入力 S と出力 W の相互情報量を用いて学習の汎化誤差の上界を導出し、過剰適合を制御する情報理論に基づく正則化手法（Gibbs とノイジー ERM）を提案する。

ABSTRACT

We derive upper bounds on the generalization error of a learning algorithm in terms of the mutual information between its input and output. The bounds provide an information-theoretic understanding of generalization in learning problems, and give theoretical guidelines for striking the right balance between data fit and generalization by controlling the input-output mutual information. We propose a number of methods for this purpose, among which are algorithms that regularize the ERM algorithm with relative entropy or with random noise. Our work extends and leads to nontrivial improvements on the recent results of Russo and Zou.

研究の動機と目的

• 学習問題における汎化の情報理論的理解を提供する。
• 汎化誤差を入力-出力の相互情報量 I(S;W) に関連付ける。
• I(S;W) を制御して汎化を改善するアルゴリズム的手法を開発する。
• 既知の結果を可算でない仮説空間へ拡張し、集中化（集中不等式）結果を導出する。
• 情報理論的安定性を用いた適応的組成と実用的なアルゴリズム設計について論ずる。

提案手法

• データセット S から仮説 W へのランダム化チャネル P_{W|S} として学習をモデル化する。
• サブガウス損失の下で I(S;W) を用いて gen(mu, P_{W|S}) の上界を導出する。
• I(X;Y) を用いて E[f(X,Y)] と E[f(X̄,Ȳ)] を結ぶデカップリング補題を提示する。
• I(S;W) で正則化された ERM が Gibbs に類似した解を生み出すことを示す。
• 正則化リスク目的関数の解として Gibbs アルゴリズムを導入・解析する。
• I(S;W) に基づく集中境界とサンプル複雑性の結果を提供する。

実験結果

リサーチクエスチョン

• RQ1 情報理論量（例：I(S;W)）を用いて汎化誤差をどのように境界づけられるか？
• RQ2 RussoとZouの境界を可算でない仮説空間へ拡張し、集中結果を得ることはできるか？
• RQ3 相互情報量による正則化（例：Gibbs、ノイジー ERM）を実践的に用いて過適合を制御するには？
• RQ4 複数の学習段階において適応的組成が汎化を保つ上でどのような役割を果たすか？
• RQ5 これらの情報理論的境界は母集団リスクに関する既知知識とどのように結びつくか？

主な発見

• σ-サブガウシン損失に対して、汎化誤差は sqrt(2σ^2 I(S;W)/n) で境界づけられる。
• サブガウシンパラメータ σ を持ついかなる損失についても、I(S;W) が定理1を通じて汎化を制御する。
• Gibbs アルゴリズムとノイジー ERM は I(S;W) を調整し、ひいては汎化を実現する実用的な方法を提供する。
• 仮説空間が可算であれば、gen(mu, W) ≤ sqrt(2σ^2 H(W)/n)。
• 二段階手法と適応的組成は、相互情報量の連鎖により全体の汎化制御をもたらす。
• Gibbs アルゴリズムは事前情報を用いた母集団リスク保証（Q の選択を通じて）と差分プライバシーの含意を認める。