[論文レビュー] Learning by Association - A versatile semi-supervised training method for neural networks

Philip Häusser, Alexander Mordvintsev+1 more|arXiv (Cornell University)|Jun 3, 2017

Domain Adaptation and Few-Shot Learning参考文献 32被引用数 54

ひとこと要約

ラベル付きデータと未ラベルデータの埋め込み間で循環整合性のある関連を形成・最適化することによって学習する、微分可能な半教師ありトレーニングフレームワーク。ラベルが少ない場合の分類性能を特に向上させる。

ABSTRACT

In many real-world scenarios, labeled data for a specific machine learning task is costly to obtain. Semi-supervised training methods make use of abundantly available unlabeled data and a smaller number of labeled examples. We propose a new framework for semi-supervised training of deep neural networks inspired by learning in humans. "Associations" are made from embeddings of labeled samples to those of unlabeled ones and back. The optimization schedule encourages correct association cycles that end up at the same class from which the association was started and penalizes wrong associations ending at a different class. The implementation is easy to use and can be added to any existing end-to-end training setup. We demonstrate the capabilities of learning by association on several data sets and show that it can improve performance on classification tasks tremendously by making use of additionally available unlabeled data. In particular, for cases with few labeled data, our training scheme outperforms the current state of the art on SVHN.

研究の動機と目的

• ラベル付きデータの取得コストが高い場合に半教師ありトレーニングを動機づける。
• 未ラベルデータを活用して意味のある埋め込みを学習する微分可能なアソシエーションベースのフレームワークを導入する。
• 既存のネットワークを拡張できるエンドツーエンドの実装を提供する。
• 特に少数のラベルサンプルで、MNIST、SVHN、STL-10 の性能向上を実証する。

提案手法

• ラベル付きデータ (A) および未ラベルデータ (B) のバッチをネットワークに通して、埋め込み A と B を得る。
• ドット積類似度のソフトマックスを通じて、関連確率 P^{ab} および P^{ba} を計算する。
• 循環確率 P^{aba} = P^{ab} P^{ba} を定義し、開始クラスと同じクラスで終わる正しいウォークを最大化する。
• 正しいクラスの循環トリップに対する均一なターゲットと P^{aba} とのクロスエントロピーとしてウォーカー損失を用いる。
• すべての未ラベルサンプルへの訪問を促すため、均一なターゲットと訪問確率 P^{visit} とのクロスエントロピーとして訪問損失を追加する。
• ターゲットタスクの評価のため、埋め込みをクラスロジットへ写像する分類損失を任意で含める。
• Adam でエンドツーエンドに学習し、必要に応じてデータ拡張を用いた TensorFlow を使用する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きおよび未ラベルの埋め込み間の循環整合性のある関連付けは、半教師あり学習の性能を向上させることができるか？
• RQ2 ウォーカー損失と訪問損失は、埋め込みの品質と一般化にどのような影響を与えるか？
• RQ3 未ラベルデータを利用した場合、標準ベンチマーク（MNIST, SVHN, STL-10）での経験的利得はどの程度か？
• RQ4 ドメイン適応のシナリオでこの手法はどのように機能するか？

主な発見

• 本手法は MNIST および SVHN で競争力のある結果を示し、500 ラベルのサンプルで SVHN における最先端を上回る。
• アソシエーション学習を用いた未ラベルデータの追加は性能を向上させ、例えば 500 labeled samples の SVHN ではテスト誤差が 17.75% から 6.25% に改善される。
• 訪問損失は MNIST にとって重要で、SVHN にとっては有益であり、適切な重み付けが性能を向上させる。
• ラベル付き/未ラベルデータを変化させた SVHN では、未ラベルデータが増えるにつれて一貫してテスト誤差を低減させる（全データ設定で 3.09% から 2.69% へ例）。
• ドメイン適用実験では、いくつかのベースラインと比較してターゲットドメインの誤差を顕著に低減することを示している。