[論文レビュー] Unsupervised Meta-Learning through Latent-Space Interpolation in Generative Models

Siavash Khodadadeh, Sharare Zehtabian+4 more|arXiv (Cornell University)|Jun 17, 2020

Domain Adaptation and Few-Shot Learning参考文献 30被引用数 7

ひとこと要約

本稿では、事前学習済みの生成モデル（VAEおよびGAN）の潜在空間における補間を用いて、合成された少サンプル分類タスクを生成する非教師ありメタラーニングフレームワーク、LASIUMを提案する。クラス内ペアは既存のサンプルに近い位置での補間により、クラス外ペアは遠く離れた潜在コードを用いて生成される。LASIUMは、OmniglotおよびCelebAベンチマークで最先端の性能を達成し、既存の非教師あり手法を上回り、最小限のドメイン特化チューニングで教師ありベースラインに近づく。

ABSTRACT

Unsupervised meta-learning approaches rely on synthetic meta-tasks that are created using techniques such as random selection, clustering and/or augmentation. Unfortunately, clustering and augmentation are domain-dependent, and thus they require either manual tweaking or expensive learning. In this work, we describe an approach that generates meta-tasks using generative models. A critical component is a novel approach of sampling from the latent space that generates objects grouped into synthetic classes forming the training and validation data of a meta-task. We find that the proposed approach, LAtent Space Interpolation Unsupervised Meta-learning (LASIUM), outperforms or is competitive with current unsupervised learning baselines on few-shot classification tasks on the most widely used benchmark datasets. In addition, the approach promises to be applicable without manual tweaking over a wider range of domains than previous approaches.

研究の動機と目的

• ドメイン特化のクラスタリングや増幅技術に依存する既存の非教師ありメタラーニング手法の限界を解決すること。
• 事前学習済みの生成モデルを活用する一般化可能で低チューニングの合成メタタスク生成アプローチを開発すること。
• VAEおよびGANの潜在空間の構造的性質を活用して、ラベルなしデータで効果的な少サンプル分類を可能にすること。
• 潜在空間における補間が、メタラーニングに適した高品質なクラス内およびクラス外ペアを生成できることを示すこと。
• メタトレーニング中にラベル付きデータを必要とせずに、標準的な少サンプルベンチマークで競争力のある性能を達成すること。

提案手法

• 事前学習済みのVAEおよびGAN（MSGANおよびProgressive GANを含む）を用い、入力データを分離可能な潜在空間に符号化する。
• 2つの離れた潜在コード間の補間によりクラス内ペアを生成し、一方のエンドポイントに近い補間点を選択することで、新しい類似サンプルを形成する。
• クラス外ペアを、潜在空間距離が大きいサンプルとして定義し、同じクラスに属する可能性が低いことを保証する。
• 補間されたサンプルを合成クラスにグループ化し、距離の遠いペアをクラス間例として用いてメタタスクを構築する。
• 生成されたデータをサポートセットおよびクエリセットとして用い、MAMLおよびProtoNetsなどのメタラーニングアルゴリズムを合成タスクに適用する。
• クラス分離とクラス内類似性を制御するため、潜在距離のしきい値や補間比などのハイパーパrameterをチューニングする。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの生成モデルの潜在空間における補間が、少サンプルメタラーニングのための合成クラス内およびクラス外ペアを信頼性高く生成できるか？
• RQ2 CACTUS、UMTRA、AALといった既存の非教師ありメタラーニングベースラインと比較して、LASIUMの性能は標準的な少サンプルベンチマークでどうなるか？
• RQ3 増幅やクラスタリング戦略の手動チューニングを必要とせずに、LASIUMはドメインを越えてどの程度一般化できるか？
• RQ4 LASIUMの合成タスク生成は、ランダムサンプリングやクラスタリングベースの手法と比較して、より優れた少サンプル一般化をもたらすか？
• RQ5 補間比や潜在距離のしきい値といったハイパーパrameterに、LASIUMの性能はどの程度感度を示すか？

主な発見

• Omniglotデータセットでは、LASIUMはすべての非教師ありメタラーニングベースラインを上回り、LASIUM-N戦略下でGAN-MAMLで77.16%、VAE-MAMLで75.02%の精度を達成した。
• CelebAのアイデンティティ認識タスクでは、GAN-MAMLで69.13%の精度を達成し、CACTUS（66.91%）を上回り、教師あり性能（75.54%）に近づいた。
• mini-ImageNetでは5-way、1-shot学習でLASIUM-N-GAN-MAMLが65.17%の精度を達成し、CACTUSや他の非教師あり手法を上回った。
• アブレーションスタディでは、LASIUM-RO（ランダムオフセット）およびLASIUM-OC（クラス外）戦略が、全データセットで一貫した性能を示し、GAN-MAMLでOmniglotで77.62%の精度を達成した。
• LASIUMはすべてのベンチマークでトランスファー学習を著しく上回り、単なるファインチューニングよりも合成タスク生成の価値を示した。
• LASIUMは、潜在距離のしきい値や補間比といった解釈可能なハイパーパrameterにのみ依存し、最小限のドメイン特化チューニングで競争力のある結果を達成した。