[論文レビュー] Towards Principled Unsupervised Learning

Ilya Sutskever, Rafał Józefowicz+4 more|arXiv (Cornell University)|Nov 19, 2015

Topic Modeling参考文献 21被引用数 21

ひとこと要約

本稿では、予測出力分布と真のラベル分布を一致させることで、教師あり学習の目的関数と整合性を持つ、原理的で教師なしのコスト関数である出力分布マッチング（ODM）を導入する。未ラベル付きの入力と出力を使ってODMを最適化することで、ラベル付きデータが極めて少ない状況でも教師あり性能が向上し、分布外のテストサンプルから入力を再構築することでワンショットドメイン適応が可能になる。

ABSTRACT

General unsupervised learning is a long-standing conceptual problem in machine learning. Supervised learning is successful because it can be solved by the minimization of the training error cost function. Unsupervised learning is not as successful, because the unsupervised objective may be unrelated to the supervised task of interest. For an example, density modelling and reconstruction have often been used for unsupervised learning, but they did not produced the sought-after performance gains, because they have no knowledge of the supervised tasks. In this paper, we present an unsupervised cost function which we name the Output Distribution Matching (ODM) cost, which measures a divergence between the distribution of predictions and distributions of labels. The ODM cost is appealing because it is consistent with the supervised cost in the following sense: a perfect supervised classifier is also perfect according to the ODM cost. Therefore, by aggressively optimizing the ODM cost, we are almost guaranteed to improve our supervised performance whenever the space of possible predictions is exponentially large. We demonstrate that the ODM cost works well on number of small and semi-artificial datasets using no (or almost no) labelled training cases. Finally, we show that the ODM cost can be used for one-shot domain adaptation, which allows the model to classify inputs that differ from the input distribution in significant ways without the need for prior exposure to the new domain.

研究の動機と目的

• 教師あり学習の目的関数と整合性を持つ、原理的な教師なしコスト関数の欠如を解消すること。
• ラベル付きデータを大量に必要とせず、一般化性能と教師あり性能を向上させる教師なし目的関数を開発すること。
• 分布外のテスト入力の分布と訓練データの分布を一致させることで、ワンショットドメイン適応を可能にすること。
• 教師あり学習と整合性を持つコスト関数を形式化し、最適な分類器がODMコストも最小化することを保証すること。

提案手法

• 予測出力分布と真のラベル分布のKLダイバージェンスを最小化するコスト関数として出力分布マッチング（ODM）を提案：$\textrm{KL}[\mathrm{Distr}(y)\|\mathrm{Distr}(F(x))]$。
• 入力分布と出力分布の両方の未ラベル付きサンプルを用いて、$\mathrm{Distr}(F(x)) = \mathrm{Distr}(y)$ という有効な制約を定義する。
• 生成モデルフレームワークを採用し、$P(x)$ が入力データ分布をモデル化し、$P_\theta(y|x)$ が入力の下での出力の条件付き尤度をモデル化する。
• ドメイン適応のため、各新しいテスト入力 $y$ に対して、$x^* = \arg\max_{x,\theta} P_\theta(y|x)P(x)$ をL2正則化とAdagradを用いて最適化から再計算することで解く。
• MNISTでは、LSTMを用いて$P(x)$を訓練し、バイナリクロスエントロピー損失を適用し、$P_\theta(y|x)$ は1層の隠れ層を持つ小さなCNNを用いて訓練する。

実験結果

リサーチクエスチョン

• RQ1 ODMコストを最小化することで教師あり性能が向上するような、教師なしコスト関数を設計可能か？
• RQ2 予測出力分布を真のラベル分布にマッチングさせることで、一般化性能が向上するか？
• RQ3 ODMは、新しいドメインに事前に触れていなくても、効果的なワンショットドメイン適応を可能にするか？
• RQ4 ODMコストが最適な教師あり関数を完全に特定するのに十分である条件は何か？

主な発見

• ODMコストは教師あり学習と整合性を持つ：完璧な教師あり分類器はODMコストも最小化する。出力空間が大きい場合には、ODMを最適化することで教師あり性能が向上することが保証される。
• 小規模かつ半人工的なデータセットにおいて、ラベル付きデータがほとんどない状況でもODMは性能向上を達成し、低教師ありレジームでの有効性を示している。
• ワンショットドメイン適応の設定では、モデルが訓練分布からの対応する入力を再構築することで、1-MNISTテスト画像（逆転MNIST）を95％の正答率で正しく分類できた。
• 本手法は、1つのテストサンプルと生成モデルのみを用いて、分布外の出力 $y$ に対応する潜在的入力 $x$ を推定できる能力に依存している。
• 出力空間が大きく、かつ入力と出力の分布間に十分な構造的類似性（特に長距離依存性を含む）がある場合、ODMコストは最も効果を発揮する。