[論文レビュー] Supervising Unsupervised Learning

Vikas Garg, Adam Tauman Kalai|arXiv (Cornell University)|Sep 14, 2017

Domain Adaptation and Few-Shot Learning参考文献 18被引用数 10

ひとこと要約

本論文は、教師あり学習（UL）問題をメタ分布からのサンプルとして扱い、異種のラベル付きデータセットのリポジトリを活用してULタスクを監視する、メタ教師なし学習（MUL）フレームワークを提案する。ULをアルゴリズム的選択とデータ特徴に関する教師あり学習に還元することで、原理的評価が可能となり、クラスタリング性能が向上し、最適なハイパーパrameterの選定、外れ値の除去、多様なドメインにわたるゼロショット一般化が実現可能になる。この手法は、未学習データに対してもベースラインを上回る性能を発揮する。

ABSTRACT

We introduce a framework to leverage knowledge acquired from a repository of (heterogeneous) supervised datasets to new unsupervised datasets. Our perspective avoids the subjectivity inherent in unsupervised learning by reducing it to supervised learning, and provides a principled way to evaluate unsupervised algorithms. We demonstrate the versatility of our framework via simple agnostic bounds on unsupervised problems. In the context of clustering, our approach helps choose the number of clusters and the clustering algorithm, remove the outliers, and provably circumvent the Kleinberg's impossibility result. Experimental results across hundreds of problems demonstrate improved performance on unsupervised data with simple algorithms, despite the fact that our problems come from heterogeneous domains. Additionally, our framework lets us leverage deep networks to learn common features from many such small datasets, and perform zero shot learning.

研究の動機と目的

• 教師あり学習の枠組みに根ざした、教師なし学習（UL）の主観的側面と評価基準の欠如を解消すること。
• 教師なしアルゴリズム（例：クラスタリング）の評価と改善を原理的かつ客観的に行う方法を提示すること。
• 過去の教師ありデータセットの知識を活用して、最適なクラスタリングアルゴリズム、クラスタ数、外れ値除去を自動選定すること。
• 小さな異種データセットを統合して大規模なトレーニングデータセットを構築し、深層学習による共有特徴の学習とゼロショット転移を可能にすることを示すこと。
• 真のラベルが付与された複数の問題を横断的に学習することで、クラスタリングにおけるKleinbergの不可能性結果を回避すること。

提案手法

• 各教師なし問題をメタ分布µからのサンプルとしてモデル化し、各ラベル付きデータセットを教師あり学習タスクにおけるトレーニング例として扱う。
• OpenMLなどから得られる多様なラベル付きデータセットのリポジトリを用い、クラスタリングパラメータや特徴表現といった最適なUL解を予測するメタアルゴリズムを学習する。
• ペアワイズ距離と共分散行列から得られる特徴を用いて、同一クラスに属するペアには1、そうでないペアには0のラベルを付与する二値分類タスクを構築する。
• 特徴ベクトルの反転によるデータオーグメンテーションを適用し、深層ニューラルネットワークを結合メタデータセット上で学習させ、クラス類似度を予測する。
• 新しいラベルなしデータセットに対しては、予測された同一クラス確率を用い、平均確率が0.5を超えるペアのみをクラスタリング対象とする。
• 一般化性能とゼロショット性能を評価するため、トレーニングデータとは同じカテゴリに属さないメタ外部テストセットと、メタ内部テストセットを用いる。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータセットのリポジトリを活用することで、教師なし学習問題を明確に定義し、客観的な評価が可能になるか？
• RQ2 過去のラベル付き問題の構造のみを用いて、メタラーニングフレームワークが多様で異種のデータセットにおいてクラスタリング性能を向上させられるか？
• RQ3 複数のラベル付き問題を横断的に学習することで、Kleinbergのクラスタリング不可能性結果を回避できるか？
• RQ4 深層学習モデルが小さな異種データセットから学習した場合、新しい未学習の教師なしタスクにどの程度一般化できるか？
• RQ5 複数の小さなデータセットから共有特徴を学習することで、多様なデータタイプにわたるゼロショット学習を実現できるか？

主な発見

• メタ内部およびメタ外部テストセットの両方で、多数決ベースラインを著しく上回った。外部データでさえ、トレーニングに使われなかったカテゴリからのものであったが同様の結果を示した。
• 単純なアルゴリズムを用いても、過去のラベル付きデータから最適なハイパーパラメータと外れ値除去戦略を学習することで、数多くの教師なしデータセットにおけるクラスタリング性能が向上した。
• 複数のラベル付き問題において一貫したクラスタリング好ましさを学習することで、Kleinbergの不可能性結果を効果的に回避し、任意の公理的失敗を回避できた。
• 数百の小さな異種データセットから数千の例を統合することで、深層ニューラルネットワークのトレーニングに適した大規模メタデータセットを構築できた。
• 深層ネットワークモデルは未学習データに対しても効果的に一般化し、自然言語処理、コンピュータビジョン、バイオインフォマティクスなど多様なドメインにわたるゼロショット能力を示した。
• メタ外部テストデータにおける平均正解率は0.75に達し、標準偏差は0.05であった。これは、トレーニングデータ分布を超えた強い一般化性能を示している。