[論文レビュー] Smooth Neighbors on Teacher Graphs for Semi-supervised Learning

Yucen Luo, Jun Zhu+3 more|arXiv (Cornell University)|Nov 1, 2017

Human Pose and Action Recognition参考文献 42被引用数 25

ひとこと要約

本稿では、教師モデルの予測から動的グラフを構築し、データ多様体上の隣接するデータポイント間で特徴の滑らかさを強制する半教師あり学習手法である Smooth Neighbors on Teacher Graphs (SNTG) を提案する。グラフに基づく正則化を用いてラベルなしデータの構造を活用することで、追加パラメータなしに最先端の性能を達成し、CIFAR-10では4,000ラベルで9.89%の誤差率、MNISTでは20ラベルで1.36%の誤差率を達成するとともに、ラベルノイズに対して強い耐性を示す。

ABSTRACT

The recently proposed self-ensembling methods have achieved promising results in deep semi-supervised learning, which penalize inconsistent predictions of unlabeled data under different perturbations. However, they only consider adding perturbations to each single data point, while ignoring the connections between data samples. In this paper, we propose a novel method, called Smooth Neighbors on Teacher Graphs (SNTG). In SNTG, a graph is constructed based on the predictions of the teacher model, i.e., the implicit self-ensemble of models. Then the graph serves as a similarity measure with respect to which the representations of "similar" neighboring points are learned to be smooth on the low-dimensional manifold. We achieve state-of-the-art results on semi-supervised learning benchmarks. The error rates are 9.89%, 3.99% for CIFAR-10 with 4000 labels, SVHN with 500 labels, respectively. In particular, the improvements are significant when the labels are fewer. For the non-augmented MNIST with only 20 labels, the error rate is reduced from previous 4.81% to 1.36%. Our method also shows robustness to noisy labels.

研究の動機と目的

• 個々のデータポイントごとの局所的摂動にのみ着目する従来の摂動ベース手法の限界、すなわちクラスターや多様体といったグローバルなデータ構造を無視することを是正すること。
• 教師モデルの出力に基づいて動的に学習されたグラフ上で、個々のポイントの周囲だけでなく、接続された隣接点間の特徴の滑らかさを強制することで一般化性能を向上させること。
• 追加のネットワークパラメータを追加せずに、最小限の計算コストで最先端の性能を達成すること。
• ラベルノイズへの耐性を高めるとともに、低次元表現における特徴空間のクラスタリングを改善すること。

提案手法

• 教師モデルの予測を用いて、ラベルなしサンプル間の予測された類似度をエッジとする類似度グラフを構築する。
• グラフを構造的インダクティブバイアスとして用い、接続された隣接点間の特徴の一貫性を促進することで、学生モデルを正則化する。
• 大規模なミニバッチを効率的に処理し、計算コストを低減するため、二重確率的サンプリングアルゴリズムを適用する。
• 追加のモデルパラメータを追加せずに、既存のSSLフレームワークにグラフベースの滑らかさ正則化を統合する。
• 深層ネットワークの階層的特徴学習を活用し、近傍の滑らかさが強制される低次元空間に入力をマッピングする。
• 滑らかさ損失をグラフラプラシアン正則化として定式化し、接続されたノード間では類似した特徴、非隣接ノード間では異なる特徴を促進する。

実験結果

リサーチクエスチョン

• RQ1 動的に構築されたグラフ上で隣接するポイント間の滑らかさを強制することで、単一ポイントの摂動手法を上回る半教師あり学習の性能向上が達成できるか？
• RQ2 教師モデルが生成するグラフの使用が、特にラベルが少ない状況下で特徴クラスタリングと一般化性能をどのように向上させるか？
• RQ3 標準的な教師あり学習および自己訓練ベースラインと比較して、SNTGはラベルノイズに対してどの程度耐性を示すか？
• RQ4 SNTGは、アーキテクチャの変更なしに、既存の生成的および判別的SSLモデルにスムーズに統合可能か？

主な発見

• CIFAR-10では4,000ラベルでの誤差率が9.89%にまで低下し、先行手法を著しく上回る最先端の性能を達成した。
• MNISTでは20ラベルでの誤差率を4.81%から1.36%まで低下させ、極めてラベルが少ない状況下でも優れた性能を示した。
• ラベルノイズに対して強い耐性を示した：SVHNで90%のラベルが汚染された状況下でも93%以上の精度を維持したが、標準的な学習法およびTempEns単体では急激に性能が低下した。
• 特徴埋め込みの可視化結果から、SNTGは特にCIFAR-10およびMNISTでより密なクラスクラスタを生成しており、優れた特徴分離性を示している。
• FM GANに適用した場合、誤差率を18.63%から14.93%まで低下させ、アーチファクトと繰り返しの削減により生成画像の質を向上させた。
• 計算コストの増加はほとんどなく、生成的および判別的モデルを含む既存のSSLフレームワークへの統合も容易である。