[論文レビュー] Information-theoretic generalization bounds for black-box learning algorithms

Hrayr Harutyunyan, Maxim Raginsky+2 more|arXiv (Cornell University)|Oct 4, 2021

Machine Learning and Algorithms参考文献 38被引用数 14

ひとこと要約

この論文は、モデルの重みではなく予測値に含まれる情報に基づいて測定する情報理論的一般化境界を、ブラックボックス学習アルゴリズムに導入し、従来の重みベースの境界の限界を克服する。提案された境界は決定的アルゴリズムに対しても意味を持ち、推定が容易であり、深層学習の実験において実際の一般化ギャップをよく追跡する。300万パラメータのモデルを4,000例のデータで学習させた場合、1%の一般化誤差を持つ状況でも同様に有効である。

ABSTRACT

We derive information-theoretic generalization bounds for supervised learning algorithms based on the information contained in predictions rather than in the output of the training algorithm. These bounds improve over the existing information-theoretic bounds, are applicable to a wider range of algorithms, and solve two key challenges: (a) they give meaningful results for deterministic algorithms and (b) they are significantly easier to estimate. We show experimentally that the proposed bounds closely follow the generalization gap in practical scenarios for deep learning.

研究の動機と目的

• 従来の重みベースの情報理論的一般化境界には、決定的アルゴリズムに対して無限大または自明になるという限界があるため、これを解消すること。
• モデル重みではなく予測値に含まれる情報の測定により、一般化境界をより推定しやすくすること。
• ニューラルネットワーク、ベイジアン手法、アンサンブル、非パラメトリック手法を含む広範なアルゴリズムに適用可能な統一的な枠組みを提供すること。
• 実世界の深層学習のシナリオにおいて、予測ベースの境界が実際の一般化ギャップをどれほどよく追跡するかを示すこと。

提案手法

• モデル重みと学習データの間の相互情報量ではなく、予測と学習データとの間の関数的条件付き相互情報量（f-CMI）を用いて、新たな一般化境界を導出する。
• データが訓練セットに含まれるかどうかを示す2値変数との間の相互情報量を推定することで、計算効率の良い境界を提案する。
• 複数の訓練データサブセットとランダム化をモンテカルロサンプルで繰り返し、f-CMIの推定におけるバイアスと分散を低減する。
• アンサンブル、有限VC次元の仮説クラス、安定な学習アルゴリズム（確率的および決定的訓練を含む）など、多様な設定に境界を適用する。
• 各データポイントあたりのサンプル数を $k_2$ として、バイアス $O(1/k_2)$ と分散 $O((\log k_2)^2 / k_2)$ のプラグイン推定器を用いて境界を推定する。
• テスト入力の $k_1$ 個のサンプルを用いて、入力分布全体での一般化ギャップとf-CMIの期待値を推定する。

実験結果

リサーチクエスチョン

• RQ1 決定的学習アルゴリズムに対しても意味を持ち、自明でない情報理論的一般化境界を導出できるか？
• RQ2 予測に基づく情報測定は、重みベースの測定よりもタイトで実用的な一般化境界をもたらすか？
• RQ3 提案された境界は、実世界の深層学習環境において、実際の一般化ギャップをどれほどよく追跡するか？
• RQ4 特に高次元モデルにおいて、提案された境界は実用的に効率的に推定可能か？

主な発見

• 提案された予測ベースの境界は、決定的学習アルゴリズムに対しても意味を持ち、自明でない。一方、重みベースの境界は無限大または情報が得られなくなる。
• 重みベースの境界と比較して、予測値とデータの含まれ方を示す2値変数との間の相互情報量を推定するだけでよく、高次元の重み-データ相互情報量を推定する必要がないため、推定がはるかに容易である。
• MNIST（4対9）における4層CNNの実験では、300万パラメータ、4,000例の学習データ、1%のテスト誤差でも、f-CMI境界が実際の一般化ギャップをよく追跡した。
• CIFAR-10における微調整済みResNet-50に対しても、提案された境界はタイトで情報が多く、大規模モデルへの適用性を示した。
• テスト入力に $k_1 = 1$ から $5$ 個のサンプル、各入力あたり $k_2 = 30$ から $40$ 個のサンプルを用いることで、推定プロセスは低バイアスと管理可能な分散を達成し、実用的導入が可能となった。