[論文レビュー] Small Data Challenges in Big Data Era: A Survey of Recent Progress on Unsupervised and Semi-Supervised Methods

Guo-Jun Qi, Jiebo Luo|arXiv (Cornell University)|Mar 27, 2019

Domain Adaptation and Few-Shot Learning被引用数 29

ひとこと要約

本調査は、ビッグデータ時代における小規模データの課題に対処するため、教師なしおよび半教師あり表現学習の最近の進展をレビューする。変換不変性、分離表現、自己教師付き学習といった原則を統合し、生成モデル（オートエンコーダ、GAN、フロー・モデル、トランスフォーマー）に組み込むことで、最小限のラベル付きデータで一般化性能を向上させ、自己教師付き正則化によって下流タスクで最先端の性能を達成する。

ABSTRACT

Representation learning with small labeled data have emerged in many problems, since the success of deep neural networks often relies on the availability of a huge amount of labeled data that is expensive to collect. To address it, many efforts have been made on training sophisticated models with few labeled data in an unsupervised and semi-supervised fashion. In this paper, we will review the recent progresses on these two major categories of methods. A wide spectrum of models will be categorized in a big picture, where we will show how they interplay with each other to motivate explorations of new ideas. We will review the principles of learning the transformation equivariant, disentangled, self-supervised and semi-supervised representations, all of which underpin the foundation of recent progresses. Many implementations of unsupervised and semi-supervised generative models have been developed on the basis of these criteria, greatly expanding the territory of existing autoencoders, generative adversarial nets (GANs) and other deep networks by exploring the distribution of unlabeled data for more powerful representations. We will discuss emerging topics by revealing the intrinsic connections between unsupervised and semi-supervised learning, and propose in future directions to bridge the algorithmic and theoretical gap between transformation equivariance for unsupervised learning and supervised invariance for supervised learning, and unify unsupervised pretraining and supervised finetuning. We will also provide a broader outlook of future directions to unify transformation and instance equivariances for representation learning, connect unsupervised and semi-supervised augmentations, and explore the role of the self-supervised regularization for many learning problems.

研究の動機と目的

• 豊富な未ラベルデータがあるにもかかわらず、ラベル付きデータが限られた状況で深層モデルを訓練する課題に対処すること。
• 教師なしおよび半教師あり表現学習分野における最近の進展を体系的に分類すること。
• 生成モデルに跨るコアな原則（変換不変性、分離、自己教師付き学習）を統一すること。
• 教師なし学習と半教師あり学習の間の関係を調査し、事前学習と微調整のギャップを埋めること。
• 自己教師付き正則化の理論的およびアルゴリズム的統合を、将来的なタスクに向けた方向性を提案すること。

提案手法

• 変換不変性や分離といった原則に基づいて、教師なしおよび半教師あり手法を分類する。
• オートエンコーダ、GAN、フローベースのネットワーク、自己回帰モデル、トランスフォーマーを含む生成モデルをレビューする。
• 回転予測、ジャイガープルーブ、インスタンス変換予測といった自己教師付き損失を、半教師あり学習における正則化子として統合する。
• 共有表現学習を介してソースドメインとターゲットドメインをアライニングすることで、自己教師付き正則化をドメイン適応に応用する。
• 表現学習における変換不変性とインスタンス不変性の統合フレームワークを提案する。
• 教師ありラベルに依存しない特徴一般化を向上させるために、ティーチャーステューデントモデルと対照的学習を用いる。

実験結果

リサーチクエスチョン

• RQ1 変換不変性は、教師なし表現学習を向上させるためにどのように活用できるか？
• RQ2 分離表現学習は、解釈可能性と一般化を向上させるために果たす役割は何か？
• RQ3 自己教師付き損失は、半教師あり学習における教師付き信号と効果的に組み合わせられるか？
• RQ4 自己教師付き正則化は、異なるデータ分布間でドメイン適応をどのように改善するか？
• RQ5 教師なし事前学習と教師あり微調整を統合する理論的およびアルゴリズム的接続は何か？

主な発見

• 回転予測やジャイガープルーブといった自己教師付き損失は、半教師あり学習における一般化性能を顕著に向上させ、ベンチマークデータセットで最先端の性能を達成する。
• 自己教師付き学習によって得られる変換不変表現は、ラベル付きデータが極めて少ない状況でも、頑健な特徴学習を可能にする。
• GAN やフローベースのネットワークといった生成モデルは、自己教師付き正則化の恩恵を受けて、サンプルの多様性と忠実度が向上する。
• 自己教師付きドメイン適応手法は、ターゲットデータにラベルが不要な状況で、ドメイン間の表現をアライニングすることでドメインギャップを縮小する。
• 教師付き学習と自己教師付き正則化を統合することで、大規模なアノテーションに依存することを減らしつつ、高い精度を維持できる。
• 変換不変性とインスタンス不変性の統合フレームワークは、将来的な方向性として提案され、タスク間での頑健性と一般化性能の向上が期待される。