[論文レビュー] Consistency of semi-supervised learning algorithms on graphs: Probit and one-hot methods

Franca Hoffmann, Bamdad Hosseini+2 more|arXiv (Cornell University)|Jun 18, 2019

Text and Document Classification Technologies被引用数 6

ひとこと要約

本稿は、ラベルノイズが消失し、データが良好にクラスタリングされる極限において、グラフベースの半教師付き学習アルゴリズム（特にプロビット法およびワンホット法）の整合性を確立する。適切なパラメータ選択のもとでグラフラプラシアンの有理関数を用いることで、これらの手法は漸近的に正しいラベルを回復することが示され、ラベルの不均衡およびノイズスケーリングに対する感受性の重要性が特定された。

ABSTRACT

Graph-based semi-supervised learning is the problem of propagating labels from a small number of labelled data points to a larger set of unlabelled data. This paper is concerned with the consistency of optimization-based techniques for such problems, in the limit where the labels have small noise and the underlying unlabelled data is well clustered. We study graph-based probit for binary classification, and a natural generalization of this method to multi-class classification using one-hot encoding. The resulting objective function to be optimized comprises the sum of a quadratic form defined through a rational function of the graph Laplacian, involving only the unlabelled data, and a fidelity term involving only the labelled data. The consistency analysis sheds light on the choice of the rational function defining the optimization.

研究の動機と目的

• ラベルノイズが消失し、クラスタが明確に分離する極限における、最適化ベースのグラフベース半教師付き学習の理論的整合性を確立すること。
• 目的関数におけるグラフラプラシアンの有理関数の役割を分析すること、特にパラメータ α、τ、ε の影響を検討すること。
• ラベルの不均衡およびノイズレベルがプロビット法およびワンホット法の性能および信頼性に与える影響を調査すること。
• 実用的適用性を高めるためのレプロダーザー定理および次元削減性質を示すこと。
• パrameter選択が不適切な場合に、多数ラベルの伝搬に起因して手法が失敗する条件を特定すること。

提案手法

• ラベルは、$ u^\flat: Z \to \mathbb{R}^M $ という潜在関数から、$ S: \mathbb{R}^M \to \{1,\dots,M\} $ による写像により回復される。観測されたラベルは $ y(j) = S(u^\flat(j) + \eta(j)) $ とノイズ付きで与えられる。
• ラベルなしデータに対する2次罰則項（グラフラプラシアン $ L $ の有理関数を用いて定義）と、ラベル付きデータに対する忠実度項を組み合わせた最適化目的関数を提案する。
• 2次罰則項として、平滑性を制御するパラメータ $ \alpha $ を持つ有理関数 $ R(L) = (I + \alpha L)^{-1} $ を用いる。
• グラフラプラシアンのスペクトル解析を用いて、クラスタリングが強化され、ノイズが減少する極限における最小化解の挙動を分析する。
• 特にノイズスケール $ \epsilon $ に関連して、パラメータ $ \tau $ と $ \alpha $ の自動チューニングを可能とする階層ベイズフレームワークを提案する。
• 合成されたクラスタリング済みデータを用いた数値実験により、$ \epsilon/\tau^2 $ および $ \gamma $ の関数としての成功確率を評価し、相転移を明らかにする。

実験結果

リサーチクエスチョン

• RQ1 ラベルノイズが低減し、クラスタリングが強い極限において、プロビット法が真のラベルを一貫して回復する条件は何か？
• RQ2 グラフラプラシアンの有理関数（特にパラメータ $ \alpha $）の選択が、解の整合性および安定性に与える影響は何か？
• RQ3 クラスタ間のラベル不均衡がワンホット法の成功確率に与える影響は何か？
• RQ4 なぜ $ \epsilon/\tau^2 $ が大きすぎるとモデルが多数ラベルの伝搬に偏るのか？ また、成功確率に観察される相転移の原因は何か？
• RQ5 階層ベイズ法は、ノイズおよびクラスタリング条件に応じた最適スケーリングを達成するために、パラメータ $ \tau $ と $ \alpha $ を自動的にチューニングできるか？

主な発見

• プロビット法およびワンホット法は、グラフラプラシアンの有理関数が適切にパrameter化されている限り、ラベルノイズが消失し、データのクラスタリングが強化される極限において整合的である。
• $ \epsilon/\tau^2 $ が臨界閾値を超えると、成功確率に鋭い相転移が観察され、モデルが多数ラベルの伝搬に陥る失敗モードが示された。
• 臨界閾値以下の $ \epsilon/\tau^2 $ においては、成功確率は主に $ \gamma $（クラスタリング強度）に依存しており、これがロバストネスの領域を示唆している。
• ラベルの不均衡は $ \epsilon/\tau^2 $ の許容範囲を著しく縮小する。クラスタ間でラベルが均等に分布している場合、成功回復領域が広がる。
• 数値結果から、すべてのクラスタに等しい数のラベル付き点がある場合、青色領域（成功確率が高い領域）が広がることが示され、ラベルのバランスがロバストネスを向上させることを示している。
• 解析から、ノイズおよびクラスタリング条件の変動に応じて整合性を維持するためには、階層ベイズ法による $ \tau $ と $ \alpha $ の自動チューニングが本質的である可能性が示唆された。