[論文レビュー] On the Consistency of Graph-based Bayesian Learning and the Scalability of Sampling Algorithms

Nicolás García Trillos, Zachary Kaplan+2 more|arXiv (Cornell University)|Oct 20, 2017

Gaussian Processes and Bayesian Inference参考文献 46被引用数 12

ひとこと要約

本稿では、非ラベル付きデータが増加する際、接続半径εなどのグラフパラメータを適切にスケーリングすることで、グラフ事後分布が連続的極限に収束することを示すことにより、グラフベースのベイジアン半教師付き学習の一貫性を確立している。この極限により、pCNなどのMCMCアルゴリズムがデータサイズに依存しない一様なスペクトルギャップを維持でき、データセットサイズにかかわらずスケーラブルなサンプリングが可能になる。

ABSTRACT

A popular approach to semi-supervised learning proceeds by endowing the input data with a graph structure in order to extract geometric information and incorporate it into a Bayesian framework. We introduce new theory that gives appropriate scalings of graph parameters that provably lead to a well-defined limiting posterior as the size of the unlabeled data set grows. Furthermore, we show that these consistency results have profound algorithmic implications. When consistency holds, carefully designed graph-based Markov chain Monte Carlo algorithms are proved to have a uniform spectral gap, independent of the number of unlabeled inputs. Several numerical experiments corroborate both the statistical consistency and the algorithmic scalability established by the theory.

研究の動機と目的

• 非ラベル付きデータポイントの数が増加する際のグラフベースのベイジアン半教師付き学習の理論的一貫性を確立すること。
• 高次元のグラフベース事後分布推論におけるMCMCサンプリングアルゴリズムのスケーラビリティを分析すること。
• 特にε-グラフにおけるεのパラメータスケーリングを特定し、それが連続的事後分布への収束を保証すること。
• 統計的一貫性とアルゴリズム的スケーラビリティを結びつけ、一様なスペクトルギャップが反復回数に依存しない収束を可能にすることを示すこと。
• 連続的極限の存在が、pCNなどの手法によるロバストで大規模なnにおけるサンプリングを可能にすることを示すこと、特に情報量の多いデータに対しても有効である。

提案手法

• 非ラベル付き入力データからε-グラフを用いてグラフラプラシアンを構築し、多様体構造を符号化する。
• グラフラプラシアンを用いて関数にガウス過程事前分布を定義し、べき乗パラメータsを用いて共分散をスケーリングする。
• 観測されたラベルに基づく尤度関数を構築し、追加ノイズまたは確率的モデル（例：probit、ロジスティック）を用いてデータ不適合をモデル化する。
• n → ∞のとき、グラフ事後分布が定義された多様体M上での連続的事後分布に収束することを証明する。
• スペクトルギャップ理論を適用し、連続的極限下でpCN MCMCアルゴリズムがnに依存しない一様なスペクトルギャップを有することを示す。
• グラフラプラシアン固有値に関する高階の境界と、無限次元ベイジアン漸近論の最近の結果を用いて、収束性とロバスト性を確立する。

実験結果

リサーチクエスチョン

• RQ1 非ラベル付きデータポイントの数が増加する際、グラフ接続パラメータεをどのスケーリングで設定すれば、グラフベース事後分布が連続的極限に収束するか？
• RQ2 連続的極限の存在は、グラフベースのベイジアン学習におけるMCMCサンプリングのアルゴリズム的スケーラビリティを意味するか？
• RQ3 連続的極限下で、非ラベル付きデータポイント数が増加する際、pCN MCMCアルゴリズムのスペクトルギャップはどのように変化するか？
• RQ4 グラフラプラシアンによって定義される事前共分散構造は、一貫性とスケーラビリティを確保するために果たす役割は何か？
• RQ5 観測ノイズσや事前精度βなどのモデルパラメータは、高次元設定におけるpCNの混合行動および受容確率にどのように影響するか？

主な発見

• εがεn ≈ 2n−1/4とスケーリングされる場合、非ラベル付きデータの数が増加するにつれ、グラフ事後分布は定義された連続的事後分布に収束し、統計的一貫性が保証される。
• 連続的極限が存在する場合、pCN MCMCアルゴリズムは非ラベル付きデータ数nに依存しない一様なスペクトルギャップを維持する。
• 数値実験により、固定されたp = 200個のラベル付きポイントを持つ半教師付き設定において、n = 300から2000の範囲でpCNの平均受容確率が安定して約0.24を維持することが確認された。
• 完全に教師ありの場合（n = p）では、平均受容確率がn = 300で0.45からn = 2000で0.11に著しく低下し、データが非常に情報量が多い場合にアルゴリズムの性能劣化が生じることが示された。
• 観測ノイズσが小さい場合（例：σ = 0.001）にはpCNの性能が劣化するが、σが大きい場合（例：σ = 0.1）には向上するため、データの情報量に敏感であることが示唆された。
• 理論的および数値的結果から、連続的極限の存在が、事後分布が事前分布からあまりに離れていない限り、nに依存しないアルゴリズム的複雑性を有するロバストなサンプリングを可能にすることが示された。