[論文レビュー] Unsupervised Learning via Meta-Learning

Kyle Hsu, Sergey Levine+1 more|arXiv (Cornell University)|Oct 4, 2018

Domain Adaptation and Few-Shot Learning参考文献 55被引用数 128

ひとこと要約

本論文は CACTUs を提案します。未ラベルデータを埋め込みとクラスタリングを介して自動的に教示付きに近いタスクを構築する無監督型メタ学習フレームワークであり、ラベルなしで下流タスクの効果的な少数ショット学習を可能にします。

ABSTRACT

A central goal of unsupervised learning is to acquire representations from unlabeled data or experience that can be used for more effective learning of downstream tasks from modest amounts of labeled data. Many prior unsupervised learning works aim to do so by developing proxy objectives based on reconstruction, disentanglement, prediction, and other metrics. Instead, we develop an unsupervised meta-learning method that explicitly optimizes for the ability to learn a variety of tasks from small amounts of data. To do so, we construct tasks from unlabeled data in an automatic way and run meta-learning over the constructed tasks. Surprisingly, we find that, when integrated with meta-learning, relatively simple task construction mechanisms, such as clustering embeddings, lead to good performance on a variety of downstream, human-specified tasks. Our experiments across four image datasets indicate that our unsupervised meta-learning approach acquires a learning algorithm without any labeled data that is applicable to a wide range of downstream classification tasks, improving upon the embedding learned by four prior unsupervised learning methods.

研究の動機と目的

• 代理の無監督目的ではなく学習手順を最適化することによって、ラベルなしデータからの下流学習を効率化する。
• 埋め込みとクラスタリングを用いて、ラベルなしデータから自動的に構造化された学習タスクを構築する。
• 複数の画像データセットにわたる多様な人間設計の下流タスクへの転移を実証する。
• 学習した学習手順が埋め込みのみのベースラインを上回り、特定条件下で監督付きメタ学習に近づくことを示す。

提案手法

• ラベルなしデータセットを入力として、無監督埋め込み法 E で埋め込みを学習する。
• 埋め込み空間を複数のパーティションに分割するため、ランダムなスケーリングを伴う k-means を実行して多様なタスク分布を作成する。
• 選択されたクラスタから M-way, K-shot の分類タスクを構築し、ラベルなしでメタトレーニングタスクを形成する。
• メタ学習アルゴリズム（MAML と ProtoNets）を適用して、新しいタスクへ迅速に適応する手順 F を学習する。
• 学習した学習手順を、複数のデータセットにまたがる下流の人間設計タスク（文字認識、物体分類、顔属性識別）で評価する。
• CACTUs ベースのメタ学習を埋め込みベースのベースラインおよびオラクルの監督付きメタ学習と比較する。

実験結果

リサーチクエスチョン

• RQ1 無監督メタ学習（CACTUs）は、埋め込みベースの手法よりも下流タスクの性能を改善する学習手順を生み出すか。
• RQ2 CACTUs は異なる埋め込み空間や無監督学習手法に対して有効か。
• RQ3 学習された学習手順は、様々な下流タスクおよびショット設定（1-shot から 50-shot まで）に転移できるか。
• RQ4 手作業設計されたタスク分布（オラクル）を用いた監督付きメタ学習と比較して、無監督 CACTUs はどうか。

主な発見

• CACTUs-MAML は、複数のデータセットに渡る下流のFew-shot タスクで埋め込みベースのベースラインを一貫して上回る。
• CACTUs-ProtoNets も性能が向上するが、メタトレーニングとテストのショットが不一致の場合には ProtoNets が期待通りに機能しない場合がある。
• CACTUs は、メタトレーニング中にラベルなしで、文字、物体、顔属性タスクなど幅広い下流タスクに対して実用的な事前情報を生み出す。
• 埋め込み空間の選択は性能に影響を与え、より優れた埋め込み手法はより強力な無監督メタ学習結果と相関する。
• 埋め込み空間でのクラスタリングによる非ランダムなタスク構築は、ランダムまたはピクセル空間でのタスク構築より大幅に優れており、複数のパーティションをまたぐことで頑健性が増す。
• オラクル監督付きメタ学習設定に対する性能ギャップはタスク難易度とデータ重なり具合に依存し、難易度が低いタスクではギャップが小さくなる。