[論文レビュー] Unlabeled Data Help in Graph-Based Semi-Supervised Learning: A Bayesian Nonparametrics Perspective

Daniel Sanz-Alonso, Ruiyi Yang|arXiv (Cornell University)|Aug 26, 2020

Machine Learning and Data Classification参考文献 49被引用数 5

ひとこと要約

本稿では、多様体仮定の下で、十分に多くの未ラベル付きデータを用いてベイジアンノンパrametricな事前分布を構築した場合、グラフベースの半教師付き学習が、対数要因を除いてミニマックス最適な事後分布収縮レートを達成することを確立している。この手法は、グラフラプラシアンを用いて幾何的構造を符号化し、理論的に未ラベル付きデータが多様体の滑らかさに最適に適応可能であることを示している。

ABSTRACT

In this paper we analyze the graph-based approach to semi-supervised learning under a manifold assumption. We adopt a Bayesian perspective and demonstrate that, for a suitable choice of prior constructed with sufficiently many unlabeled data, the posterior contracts around the truth at a rate that is minimax optimal up to a logarithmic factor. Our theory covers both regression and classification.

研究の動機と目的

• 多様体仮定の下で、グラフベースの半教師付き学習において未ラベル付きデータが学習性能を向上させるかを調査すること。
• 回帰および分類の両設定において、事後分布収縮レートの理論的保証を確立すること。
• グラフによって構築された事前分布を用いたベイジアンノンパラメトリクス的手法が、真の関数の滑らかさに最適に適応できることを示すこと。
• ラベル付きデータ数 $ n $ に対して未ラベル付きデータ数 $ N_n $ が十分に速く増加する場合、事後分布収縮レートが対数要因を除いてミニマックス最適になるための条件を特定すること。

提案手法

• 幾何的構造を多様体の性質に反映させるために、未ラベル付きデータのグラフラプラシアンを用いて事前分布を構築するベイジアンノンパラメトリクスフレームワークを採用する。
• 尤度関数にラベル付きデータを組み込み、回帰（ガウス尤度）と分類（ベルヌーイ尤度）のそれぞれについて別々の定式化を行う。
• 真の関数 $ f_0 $ の周囲における事後分布の集中度を測るために半距離 $ d_n $ を用い、収縮レートは $ \|f - f_0\|_n \geq M_n \varepsilon_n $ となる事後確率が $ n \to \infty $ のとき消えるような列 $ \varepsilon_n $ として定義される。
• グラフレプラシアンのスペクトル収束結果を用いて、事前の挙動を制御し、$ N_n $（未ラベル付き点の数）が $ n $ に対して多項式的割合で増加する場合に多様体の幾何を適切に捉えることを保証する。
• エントロピーおよび事前集中条件などのベイジアンノンパラメトリクスの理論的道具を用いて、事後分布収縮レートを導出する。
• 分析では多様体上での一様抽出を仮定しているが、重み付きラプラシアン＝ベルトラミ作用素を用いることで非一様密度への一般化についても議論している。

実験結果

リサーチクエスチョン

• RQ1 多様体仮定のもとで、グラフベースの半教師付き学習において未ラベル付きデータの取り入れが事後分布収縮レートを向上させるか？
• RQ2 グラフによって構築された事前分布を用いたベイジアンノンパラメトリクス的手法は、回帰および分類の両設定でミニマックス最適なレートを達成できるか？
• RQ3 ラベル付きサンプル数 $ n $ が与えられたとき、最適な事後分布収縮を保証するための未ラベル付きデータ数 $ N_n $ の増加率はどの程度か？
• RQ4 事前分布の滑らかさパラメータの選択が事後集中に与える影響は何か？また、真の関数の滑らかさに関する事前知識がなくても適応性を達成できるか？
• RQ5 グラフラプラシアンによって捉えられるデータ多様体の幾何的構造は、ベイジアンSSLにおける学習レートにどの程度影響を与えるか？

主な発見

• 未ラベル付きデータ数 $ N_n $ が $ n $ に対して適切な多項式的割合で増加する限り、真の関数 $ f_0 $ の周囲における事後分布の収縮レートが、対数要因を除いてミニマックス最適になることが保証される。
• 回帰設定では、未ラベル付きデータのグラフレプラシアンを用いて構築された事前分布により、$ L^\infty $-ノルムにおけるミニマックスレートに一致する事後分布収縮レートが達成される。
• 分類設定では、事後分布収縮レートもミニマックス最適（対数要因を除く）であり、その結果はハリントン距離およびカルバック・ライブラー距離と実験ノルムとの等価性を用いて導出されている。
• 事後分布収縮に必要な事前集中およびエントロピー条件は、グラフレプラシアンが多様体上の真のラプラシアン＝ベルトラミ作用素にスペクトル収束する場合に満たされる。
• 理論は多様体上の一様抽出を仮定しているが、重み付きラプラシアン＝ベルトラミ作用素を用いることで非一様密度への一般化が可能である。
• 結果から、豊富な未ラベル付きデータが、グラフベース手法が幾何的構造を抽出し、最適な学習性能を達成する上で不可欠であることが示唆される。