[論文レビュー] Generalization in Machine Learning via Analytical Learning Theory

Kenji Kawaguchi, Yoshua Bengio+2 more|arXiv (Cornell University)|Feb 21, 2018

Machine Learning and Algorithms参考文献 46被引用数 14

ひとこと要約

この論文は、データセットとモデルを固定された確率的でない対象として扱うことで、統計的仮定を必要とせずに機械学習における一般化を分析する測度論的フレームワーク、すなわち分析的学習理論を導入する。この理論により、CIFAR-10、CIFAR-100、SVHNで先行手法を上回る性能を示す新しい正則化法が導出されるとともに、ワンショット学習、表現学習、カリキュラム学習に対する理論的裏付けが与えられる。

ABSTRACT

This paper introduces a novel measure-theoretic theory for machine learning that does not require statistical assumptions. Based on this theory, a new regularization method in deep learning is derived and shown to outperform previous methods in CIFAR-10, CIFAR-100, and SVHN. Moreover, the proposed theory provides a theoretical basis for a family of practically successful regularization methods in deep learning. We discuss several consequences of our results on one-shot learning, representation learning, deep learning, and curriculum learning. Unlike statistical learning theory, the proposed learning theory analyzes each problem instance individually via measure theory, rather than a set of problem instances via statistics. As a result, it provides different types of results and insights when compared to statistical learning theory.

研究の動機と目的

• 統計的仮定や確率変数に依存せずに一般化を分析する学習理論の構築を目的とする。
• 集中不等式ではなく測度論的ツールを用いて、インスタンス固有の一般化ギャップの理論的境界を提供すること。
• 提案された理論に基づく新しい正則化法を導出し、深層学習における一般化を改善すること。
• ワンショット学習、表現学習、カリキュラム学習といった既存の実践的アプローチを、非統計的フレームワーク内で理論的に裏付けること。
• 仮説空間の複雑さに依存しない事後依存境界を用いて、統計的学習理論を補完すること。

提案手法

• 真のデータ測度、訓練データセット、学習済みモデルを固定された対象として扱う、統計的でない学習理論を提案する。
• 一般化ギャップを真の測度下での期待誤差と訓練セット上の実効誤差の差として定義する。
• データセットの質を測る指標として「不一致度（discrepancy）」、関数の滑らかさを測る指標として「変動（variation）」（HardyとKrauseの意味で）を導入する。
• 仮説空間の複雑さに依存しない、訓練データセットの不一致度と損失関数の変動度に依存する一般化境界を導出する。
• 導出された境界に基づき、訓練データ上で損失関数の変動度が大きいものをペナルティ化する新しい正則化法を構築する。
• CIFAR-10、CIFAR-100、SVHNにおける正則化法の実験的評価を行い、既存手法と性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 データセットや学習アルゴリズムにランダムネスを仮定せずに、機械学習における一般化を分析することは可能か？
• RQ2 測度論に基づく理論が、統計的学習理論に比べて、より強くインスタンス固有の一般化ギャップの境界を提供できるか？
• RQ3 データセットの不一致度と関数の変動度が、一般化性能に果たす役割は何か？
• RQ4 このような理論に基づいて導出された正則化法は、標準ベンチマークで既存手法を上回る性能を示せるか？
• RQ5 提案されたフレームワークは、ワンショット学習やカリキュラム学習といった実践的アプローチに対して理論的裏付けを提供できるか？

主な発見

• 提案された分析的学習理論は、仮説空間の複雑さや学習アルゴリズムの性質に依存しないインスタンス固有の一般化境界を提供する。
• 導出された正則化法は、CIFAR-10、CIFAR-100、SVHNで最先端の性能を達成し、従来の手法を上回る。
• 理論は、大きなモデル容量にもかかわらず良好な一般化が得られる現象や、決定論的な訓練データが使用される場合（ImageNet や CIFAR-10 で観察された現象）を説明できる。
• フレームワークは、測度論的アプローチの自然な帰結として、ワンショット学習、表現学習、カリキュラム学習に対する理論的裏付けを提供する。
• 一般化境界は、ラデマッハ複雑度やVC次元といった統計的性質に依存せず、データセットの不一致度と関数の変動度にのみ依存する。
• 本手法の成功は、非統計的かつインスタンス依存の分析が、深層学習における実用的で理論的根拠を持つ改善をもたらしうることを示している。