[論文レビュー] Optimizing for Generalization in Machine Learning with Cross-Validation Gradients

Shane Barratt, Rishi Sharma|arXiv (Cornell University)|May 18, 2018

Machine Learning and Data Classification被引用数 5

ひとこと要約

この論文は、ロジスティック回帰、エラスティック・ネット、SVMsなどの凸機械学習モデルにおけるハイパーパrameterに関する交差検証損失の微分を可能にする、クロスバリデーション勾配（CVGM）を提案する。高次元のハイパーパrameter空間における勾配ベース最適化を可能にすることで、CVGMは、60サンプルのデータセットで89.8％のテスト精度を達成するなど、最先端の汎化性能を実現し、ニューラルネットワークカーネルを介したエンドツーエンド微分可能な特徴量学習を可能にする。

ABSTRACT

Cross-validation is the workhorse of modern applied statistics and machine learning, as it provides a principled framework for selecting the model that maximizes generalization performance. In this paper, we show that the cross-validation risk is differentiable with respect to the hyperparameters and training data for many common machine learning algorithms, including logistic regression, elastic-net regression, and support vector machines. Leveraging this property of differentiability, we propose a cross-validation gradient method (CVGM) for hyperparameter optimization. Our method enables efficient optimization in high-dimensional hyperparameter spaces of the cross-validation risk, the best surrogate of the true generalization ability of our learning algorithm.

研究の動機と目的

• 真のデータ分布が入手できないため、一般化性能を直接測定することが難しい機械学習モデルの最適化という課題に取り組む。
• 交差検証をブラックボックスとして扱う従来のハイパーパrameterチューニング手法の限界、特に高次元または複雑なハイパーパrameter空間において顕著である点を克服する。
• 一般的な凸モデルにおいて、交差検証損失がハイパーパrameterに関して微分可能であることを示し、ハイパーパラメータの勾配ベース最適化を可能にする。
• 交差検証勾配を用いた微分可能な特徴量工学が、手動による特徴量設計に依存することなくエンドツーエンドで学習可能であることを示す。
• 本手法が限られたトレーニングデータでも良好に一般化できることを示し、低データ環境において標準的なベースラインを上回ることを確認する。

提案手法

• 陰関数定理を活用して、最適モデルパラメータを介してハイパーパラメータに関する交差検証損失を微分することで、勾配計算を最適解の内部にまで伝播可能にする。
• K分割交差検証の各foldにおいて、トレーニングfoldでモデルを学習し、検証foldで評価し、各foldの損失を統合する。
• チェインルールを用いて交差検証損失の勾配を計算し、学習アルゴリズムの最適解を介して勾配を伝播する。
• ロジスティック回帰、エラスティック・ネット、SVMsなどのモデルに適用し、これらのモデルでは最適解がハイパーパラメータに関して微分可能である。
• ニューラルネットワークカーネルを微分可能な特徴変換として用い、そのパラメータをCVGMで最適化することで一般化性能を向上させる。
• PyTorchなどのディープラーニングフレームワークと統合するため、ロジスティック回帰層を微分可能なモジュールとして実装し、パイプライン全体にバックプロパゲーションを可能にする。

実験結果

リサーチクエスチョン

• RQ1 一般的な凸機械学習モデル（例：ロジスティック回帰、エラスティック・ネット、SVMs）において、交差検証損失をハイパーパラメータに関して微分可能にすることができるか？
• RQ2 低データ環境における一般化性能の向上を目的とした、ハイパーパラメータに対する勾配ベース最適化が効果的に適用可能か？
• RQ3 交差検証勾配を用いて、手動による特徴量設計に代わるエンドツーエンドで微分可能な特徴量工学を学習可能か？
• RQ4 テスト精度およびデータ不足に対するロバストネスの観点から、CVGMは標準的なハイパーパラメータチューニングおよび標準的なニューラルネットワーク学習と比較してどのように差をつけるか？
• RQ5 勾配降下法を用いて交差検証損失を最適化することで、高次元のハイパーパラメータ空間を効果的に探索した場合、どのような影響が生じるか？

主な発見

• ロジスティック回帰、エラスティック・ネット、SVMsなどの一般的な凸モデルにおいて、交差検証損失はハイパーパラメータに関して微分可能であり、勾配ベース最適化が可能である。
• CVGMは60サンプルのデータセットで89.8％のテスト精度を達成し、ベイズ最適精度89.4％に近づいた。
• 低データ環境（8〜200サンプル）では、標準的な2層ニューラルネットワークおよびボトムアップロジスティック回帰を上回ったが、特に50サンプル未満のデータでは顕著な優位性を示した。
• 20件のトレーニング例のみで322個のハイパーパラメータを最適化することができ、高次元のハイパーパラメータ空間におけるスケーラビリティを実証した。
• ニューラルネットワークカーネルは約10イテレーションで、データがほぼ線形分離可能になる多様体を学習し、86.5％のテスト精度を達成した。
• 過学習を軽減するため、最適化を早期に停止（100ステップ）したが、これは完全収束に至る場合に一般化性能が悪化する低データ設定において有効であった。