[論文レビュー] Poisson Learning: Graph Based Semi-Supervised Learning At Very Low Label Rates

Jeff Calder, Brendan Cook+2 more|Research Explorer (The University of Manchester)|Jun 19, 2020

Domain Adaptation and Few-Shot Learning被引用数 29

ひとこと要約

この論文は、ラベル割り当ての代わりにソース／シンクの配置によってグラフ上でポアソン方程式を解くことで、非常に低いラベルレートでも優れた安定性と正確性を達成する、新しいグラフベースの半教師付き学習手法、ポアソン学習を提案する。MNIST、FashionMNIST、CIFAR-10において、ラプラシアン学習や他の最先端手法を上回り、特に超低ラベルレート下で顕著な性能向上を示す。さらに、グラフカットの拡張手法であるポアソンMBOにより、さらなる性能向上が達成される。

ABSTRACT

We propose a new framework, called Poisson learning, for graph based semi-supervised learning at very low label rates. Poisson learning is motivated by the need to address the degeneracy of Laplacian semi-supervised learning in this regime. The method replaces the assignment of label values at training points with the placement of sources and sinks, and solves the resulting Poisson equation on the graph. The outcomes are provably more stable and informative than those of Laplacian learning. Poisson learning is efficient and simple to implement, and we present numerical experiments showing the method is superior to other recent approaches to semi-supervised learning at low label rates on MNIST, FashionMNIST, and Cifar-10. We also propose a graph-cut enhancement of Poisson learning, called Poisson MBO, that gives higher accuracy and can incorporate prior knowledge of relative class sizes.

研究の動機と目的

• 非常に低いラベルレート下でラプラシアン半教師付き学習が劣化する理由を解明する。具体的には、局所化されたスパイクが発生し、ラベルの伝搬が効果的に機能しないためである。
• 低ラベルレート環境下でのラプラシアン学習の不安定性と一般化性能の低さの根本原因を、大きな定数バイアスであると特定する。
• 少数のラベル例（1クラスあたり数個程度）でも良好に動作する、効率的かつ証明可能に安定性の高い新しい半教師付き学習手法を開発する。
• クラスサイズの事前知識を学習プロセスに組み込むことで、特にクラスが不均衡な状況下での正確性を向上させる。
• クラスサイズの事前知識を組み込んだグラフカットの拡張手法（ポアソンMBO）を提案し、性能をさらに向上させる。

提案手法

• 標準のラプラシアン学習の定式化を、ラベル付きノードをソースおよびシンクとしてモデル化するポアソン方程式に置き換える。
• グラフ上での離散ポアソン方程式を解く：$ \mathcal{L}u = f $、ここで $ f $ はラベル付きノードにサポートされるソース項であり、$ \mathcal{L} $ はグラフラプラシアンである。
• ランダムウォークの解釈を通じて、ポアソン学習が混合時間に達するまでのウォークの情報を活用し、初期のラベル情報が保持されることを示す。
• 2段階のアルゴリズムを実装する：まず反復的線形解法によりポアソン方程式を解き、次に解空間内での最近傍法分類によりラベルを割り当てる。
• クラスサイズの事前知識を強制するグラフカットアプローチ（ポアソンMBO）を用いて手法を強化し、交互最小化により精度を向上させる。
• K近傍法を用いてグラフを構築し、ガウス重み付きカーネルを適用し、重み行列を対称化し、対角成分を0に設定することで収束を高速化する。

実験結果

リサーチクエスチョン

• RQ1 なぜラプラシアン学習は非常に低いラベルレート下で崩壊するのか？その主な原因は何か？
• RQ2 グラフベースの半教師付き学習をポアソン問題として再定式化することで、低ラベルレート環境下での安定性とラベル伝搬の性能が向上するか？
• RQ3 ポアソン学習のランダムウォーク解釈は、ラプラシアン学習とはどのように異なるのか？情報伝搬に関する洞察を明らかにするか？
• RQ4 ポアソン学習のグラフカット拡張は、クラスサイズの事前知識を組み込み、分類精度をさらに向上させることができるか？
• RQ5 ポアソン学習は、超低ラベルレート下で $ p $-ラプラシアン、WNLL、MBOベースの手法と比較して、定量的にどのように優れているか？

主な発見

• ポアソン学習は、MNIST、FashionMNIST、CIFAR-10において、あらゆる低ラベルレート下でラプラシアン学習を著しく上回り、数パcentポイントの向上を達成する。
• ポアソンMBOは、$ p $-ラプラシアンやボリューム制約付きMBOを含む、他のあらゆる手法を上回り、特に超低ラベルレート（例：1〜5ラベル／クラス）下で顕著な性能向上を示す。
• MNISTで1クラスあたり5ラベルの場合、K近傍法グラフ構築におけるKの選択にほとんど感受性を示さず、安定性が保証される。
• 不均衡なトレーニングデータに対しては、ポアソン学習のラベル決定ルールがクラス不均衡を補正し、バランスの取れたベースラインよりも高い正確性を達成する。
• 計算効率が高く、実装も簡単である。対角成分を0に設定することで収束が加速される。
• 数値実験では、ポアソンMBOが1クラスあたり5ラベルのMNISTで90％以上の正確性を達成し、最近傍法ベースラインや他の最先端手法を上回る。