[論文レビュー] Meta-Unsupervised-Learning: A supervised approach to unsupervised learning

Vikas Garg, Adam Tauman Kalai|arXiv (Cornell University)|Dec 29, 2016

Anomaly Detection Techniques and Applications参考文献 14被引用数 3

ひとこと要約

本論文は、事前ラベル付きデータセットを活用することで、クラスタリング、外れ値検出、類似度予測などの非教師あり学習タスクを教師あり学習に還元するフレームワーク「メタ非教師あり学習」を提案する。100以上のOpenMLデータセットから成る多様な分類問題のリポジトリで学習することで、最適なクラスタリングアルゴリズム、ハイパーパramータ、外れ値閾値の選択を学習し、未学習データに対してもベースラインのヒューリスティクスを著しく上回る性能を発揮するとともに、クラスタリングにおけるKleinbergの不可能性定理を回避する。

ABSTRACT

We introduce a new paradigm to investigate unsupervised learning, reducing unsupervised learning to supervised learning. Specifically, we mitigate the subjectivity in unsupervised decision-making by leveraging knowledge acquired from prior, possibly heterogeneous, supervised learning tasks. We demonstrate the versatility of our framework via comprehensive expositions and detailed experiments on several unsupervised problems such as (a) clustering, (b) outlier detection, and (c) similarity prediction under a common umbrella of meta-unsupervised-learning. We also provide rigorous PAC-agnostic bounds to establish the theoretical foundations of our framework, and show that our framing of meta-clustering circumvents Kleinberg's impossibility theorem for clustering.

研究の動機と目的

• 非教師あり学習における本質的主観性と客観的評価の欠如を解消するため、非教師あり学習をメタ学習問題として再定式化すること。
• 過去の教師ありタスクから得られるデータ駆動型で転送可能な知識を活用することで、クラスタリングアルゴリズム、クラスタ数、外れ値閾値の選定の難易度を低減すること。
• 非教師あり問題のメタ分布を活用することで、クラスタリングにおけるKleinbergの不可能性定理を理論的根拠とともに回避するアプローチを提供すること。
• 異種の事前ラベル付きデータセットが、新しいラベルなし非教師あり問題における性能向上に寄与できることを示すこと。
• 多様なドメインから集約されたラベルなしデータで訓練されたニューラルネットワークが、新しい非教師ありタスクに一般化できることを示すこと。

提案手法

• 各ラベル付きデータセットをメタ例として扱い、ラベルから得られる真のクラスタリング結果（真のクラスタリング）を非教師あり学習のターゲットとする。
• クラスタリングや類似度予測といった非教師あり問題を、2つのインスタンスが同じクラスタに属するかどうかを示す2値分類問題に還元する。
• OpenMLの100以上のデータセットから成るリポジトリを用いて、クラスタリング指標とデータプロパティから導出された特徴量ベクトルを用いて深層ニューラルネットワークを学習する。
• ReLU活性化関数を用いた4層のフィードフォワードネットワークを採用し、Adadeltaによる最適化と10エポックの負の対数尤度損失を用いて学習する。
• 予測時には、ペairの出力とその逆順の出力を平均化して対称性を確保し、平均確率が0.5を超える場合に同じクラスタに割り当てる。
• 内部および外部のテストセットを用いて性能を評価し、学習に使用しなかったパーティションからのデータを含めることで一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 事前ラベル付きデータを活用することで、非教師あり学習問題を体系的に教師あり学習に還元できるか？
• RQ2 過去の教師ありタスクから学習するメタアプローチによって、多様なデータセット上でクラスタリング性能を向上させられるか？
• RQ3 異種のラベル付きデータセットのリポジトリを活用することで、ヒューリスティクスによるデフォルトより優れたクラスタリングアルゴリズムやハイパーパramータの選定が可能か？
• RQ4 訓練データにそのようなデータが含まれていなくても、フレームワークが未観測のデータ分布に一般化できるか？
• RQ5 複数のドメインから集約されたラベルなしデータで訓練されたニューラルネットワークが、非教師あり意思決定の向上にどの程度寄与できるか？

主な発見

• メタアプローチは内部および外部テストセットの両方でマジョリティルールベースラインを著しく上回り、メタETにおける平均正解率0.75を達成し、強力な一般化性能を示した。
• K-meansクラスタリングは、ヒューリスティクス的好みではなく、データ駆動型の評価に基づき、リポジトリ全体の他の4つのアルゴリズムを上回った。
• クラスタ数の選定に用いられる標準的なヒューリスティクスに系統的なバイアスが存在し、それがメタ学習された知識によって是正可能であることが同定された。
• 過去のデータから最適な閾値を学習することで、外れ値除去の性能が向上し、クラスタリング品質が向上した。
• 多様なドメインから集約されたラベルなしデータで訓練されたニューラルネットワークモデルは、学習に使用しなかったパーティションからのテストデータであっても、新しい未学習の非教師あり問題に効果的に一般化した。
• フレームワークは、非教師あり学習タスクのメタ分布に問題を埋め込むことで、クラスタリングにおけるKleinbergの不可能性定理を理論的根拠とともに回避する基盤を提供した。