[論文レビュー] A random matrix analysis and improvement of semi-supervised learning for large dimensional data

Xiaoyi Mai, Romain Couillet|arXiv (Cornell University)|Nov 9, 2017

Bayesian Methods and Mixture Models参考文献 13被引用数 28

ひとこと要約

この論文は、高次元設定におけるグラフベース半教師あり学習のランダム行列理論に基づく分析を提供し、データ次元とサンプルサイズが比例して増加する際、標準的手法が不一致になることを明らかにした。本手法は、漸近的バイアスを補正することで分類精度を著しく向上させるデータ駆動型パrameter化スキームを提案しており、MNIST およびガウス混合モデルにおける強力な実証的検証がなされている。

ABSTRACT

This article provides an original understanding of the behavior of a class of graph-oriented semi-supervised learning algorithms in the limit of large and numerous data. It is demonstrated that the intuition at the root of these methods collapses in this limit and that, as a result, most of them become inconsistent. Corrective measures and a new data-driven parametrization scheme are proposed along with a theoretical analysis of the asymptotic performances of the resulting approach. A surprisingly close behavior between theoretical performances on Gaussian mixture models and on real datasets is also illustrated throughout the article, thereby suggesting the importance of the proposed analysis for dealing with practical data. As a result, significant performance gains are observed on practical data classification using the proposed parametrization.

研究の動機と目的

• 大次元・大標本領域におけるグラフベース半教師あり学習アルゴリズムの漸近的挙動を理解すること。
• 類似度に基づくラベル伝播の標準的直観が、距離の集中により高次元で失敗する理由を特定すること。
• 一貫性を回復させ、分類性能を向上させる理論的裏付けを持ち、データ駆動型のパrameter化スキームを開発すること。
• ガウス混合モデルにおける漸近的予測と、MNIST などの実世界データセットにおける実効的性能を結びつける理論的枠組みを確立すること。

提案手法

• 標本サイズ n と次元 p がともに大きくかつ比例的に増加する際のラベル伝播アルゴリズムの漸近的挙動を、ランダム行列理論を用いて分析する。
• 行列 D と W の主要な行列のテイラー展開（O(1/√n) および O(1/n) 項まで）を用いて、ラベル伝播アルゴリズムの定常解の線形近似を導出する。
• ラベル付きおよびラベルなしデータの影響を調整するパrameter α を含む、漸近的解析から導出された新しいパrameter化スキームを導入する。
• 予測スコアの漸近的分布に中心極限定理を適用し、高次元極限下で正規分布に収束することを示す。
• 予測スコアの平均および共分散の明示的漸近的表現を導出し、それらをモデルパラメータおよびカーネル関数の微分と関連付ける。
• 理論的枠組みを実証的に検証するため、ガウス混合モデルにおける予測された漸近的性能と、実際のデータセット（MNIST など）における実性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 なぜ標準的手法は、強い理論的直観を持つにもかかわらず、高次元設定で失敗するのか？
• RQ2 n と p がともに大きくかつ比例的に増加する際、ラベル伝播アルゴリズムの漸近的挙動はいかなるものか？
• RQ3 原理的かつデータ駆動型のパrameter化によって、既存手法の不一致をどのように是正できるか？
• RQ4 ガウス混合モデルにおける理論的予測は、MNIST などの実世界データにおける実効的性能とどの程度一致するか？
• RQ5 カーネル行列に含まれる非教師あり情報は、高次元ラベル伝播においてより効果的に活用可能か？

主な発見

• 標準的グラフベース半教師あり学習手法は、ペairwise距離の集中により、大次元極限で不一致となる。これは、コアとなる類似度直観を無効にしている。
• 漸近的解析から導出された提案パrameter化スキームにより、実世界データ（p = 784 の MNIST を含む）で顕著な性能向上が達成された。
• ガウス混合モデルにおける理論的予測と MNIST における実効的結果がよく一致しており、漸近的枠組みが実用的指針として有効であることが検証された。
• アルゴリズムの出力は漸近的に正規分布に従い、その平均および共分散はカーネル関数の微分およびデータ分布パラメータの関数として明示的に導出された。
• カーネル行列のうち、特に W(1)uu 項のみが分類に有意義に寄与しており、標準的定式化では非教師あり部分の大部分の情報が無視されている。
• 予測スコアの残差項 zi は O(√p) のオーダーであり、主な信号が一次漸近的展開によって捉えられていることを示しており、線形化アプローチの妥当性が裏付けられた。