[論文レビュー] The Stochastic Replica Approach to Machine Learning: Stability and Parameter Optimization

Patrick Chao, Tahereh Mazaheri+3 more|arXiv (Cornell University)|Aug 18, 2017

Neural Networks and Applications参考文献 41被引用数 3

ひとこと要約

本論文は、確率的関数展開とアンサンブル投票を用いることで、分類および回帰において高い精度を達成する、新しい教師あり機械学習手法であるStochastic Replica Voting Machines（SRVM）アルゴリズムを紹介する。多様なデータセットにおいて堅牢な性能を示し、自動的なパrameter最適化とクラス不均衡に対する安定性を備え、アルゴリズムに依存しない精度の上限と、物理的座標の顕在的解釈が可能である可能性を示している。

ABSTRACT

We introduce a statistical physics inspired supervised machine learning algorithm for classification and regression problems. The method is based on the invariances or stability of predicted results when known data is represented as expansions in terms of various stochastic functions. The algorithm predicts the classification/regression values of new data by combining (via voting) the outputs of these numerous linear expansions in randomly chosen functions. The few parameters (typically only one parameter is used in all studied examples) that this model has may be automatically optimized. The algorithm has been tested on 10 diverse training data sets of various types and feature space dimensions. It has been shown to consistently exhibit high accuracy and readily allow for optimization of parameters, while simultaneously avoiding pitfalls of existing algorithms such as those associated with class imbalance. We very briefly speculate on whether spatial coordinates in physical theories may be viewed as emergent "features" that enable a robust machine learning type description of data with generic low order smooth functions.

研究の動機と目的

• 統計物理学にインspiredされた予測安定性を保証する新しい教師あり機械学習アルゴリズムの開発を目的とし、確率的関数展開を用いる。
• 既存のアルゴリズムの限界、特にクラス不均衡への感受性と過学習の問題を、アンサンブル投票機構によって解決することを目的とする。
• レプリカの重なりから導かれる内在的安定性指標を用いて、モデルパラメータの自動最適化を可能とすることを目的とする。
• 物理理論における空間座標が、滑らかな低次の関数を介して、強力な機械学習記述を可能にする顕在的特徴として見なせるかを検討することを目的とする。
• 確率的レプリカのアンサンブル構造を用いて、アルゴリズムに依存しない予測精度の上限を確立することを目的とする。

提案手法

• 訓練データを、摂動に対して不変性を示す確率的関数の線形展開として表現し、予測の安定性を保証する。
• このような確率的展開のアンサンブル（以下「レプリカ」と呼ぶ）を用い、その出力を多数決投票によって統合することで、新しいデータのラベルを予測する。
• 主なパラメータ（通常は確率的関数生成を制御する単一のハイパーパラメータ）は、予測精度の代理指標としてのレプリカ間重なりを用いて自動的に最適化される。
• アルゴリズムは、入力特徴のカーネルベースの展開を用い、各レプリカがランダム基底関数を用いて線形方程式系を解き、予測は集団的合意から導かれる。
• 安定性は、異なるレプリカ解の間の重なりを用いて定量化される。高い重なりは高い予測精度と相関し、パラメータチューニングが可能になる。
• このフレームワークは、分類および回帰の両タスクを自然にサポートし、高次展開やハイブリッドな教師あり・教師なし学習への拡張も可能である。

実験結果

リサーチクエスチョン

• RQ1 確率的関数展開とアンサンブル投票に基づく機械学習モデルは、多様なデータセットにおいて、クラス不均衡への感受性を最小限に抑えながら、高い精度を達成できるか？
• RQ2 複数の確率的レプリカにおける予測の安定性は、どのように定量化され、モデルパラメータの自動最適化に利用できるか？
• RQ3 異なる確率的レプリカ解の重なりは、総合的なモデル精度の信頼できる指標として機能するか？
• RQ4 確率的アンサンブルの構造を用いて、アルゴリズムに依存しない予測精度の上限を導出できるか？
• RQ5 物理理論における顕在的空間座標の概念は、低次の滑らかな関数を介して、強力な機械学習表現と結びつけることができるか？

主な発見

• SRVM手法は、特徴空間の次元が異なる10種類の多様なデータセットにおいて一貫して高い精度を達成し、複数のベンチマークで最先端のモデルを上回るか同等の性能を示した。
• データスケーリングや前処理手法の変更に対しても、予測性能が安定しており、さまざまな正規化手法に対しても一貫性を示した。
• レプリカ間重なりを代理指標として用いることで、パラメータ最適化を成功裏に自動化した。最適パラメータは、予測安定性のピークに対応していた。
• バイアスが小さく、高い安定性を示し、複数回の実行およびデータ分割に対して、予測結果が統計的に一貫していた。
• 異なる確率的レプリカ間の重なりは、予測精度と強く相関しており、最適なモデルパラメータの信頼性ある同定が可能であった。
• このフレームワークは、確率的アンサンブルの統計的性質に基づいた、アルゴリズムに依存しない精度の上限への道筋を示唆している。