[論文レビュー] Representation Learning for Clustering: A Statistical Framework

Hassan Ashtiani, Shai Ben-David|arXiv (Cornell University)|Jun 19, 2015

Machine Learning and Algorithms参考文献 12被引用数 6

ひとこと要約

本論文は、クラスタリングにおける表現学習のための統計的フレームワークを提案する。ユーザーが小さなデータサンプルのクラスタリングを提供することで、そのクラスタリングが全データセット上でk-meansクラスタリングと一致するような表現学習をガイドする。主な貢献は、VC次元に類似した表現能力の概念を提示し、有限の能力を持つクラスが一般化保証とともに学習可能であることを示しており、線形埋め込みの解析も提供している。

ABSTRACT

We address the problem of communicating domain knowledge from a user to the designer of a clustering algorithm. We propose a protocol in which the user provides a clustering of a relatively small random sample of a data set. The algorithm designer then uses that sample to come up with a data representation under which $k$-means clustering results in a clustering (of the full data set) that is aligned with the user's clustering. We provide a formal statistical model for analyzing the sample complexity of learning a clustering representation with this paradigm. We then introduce a notion of capacity of a class of possible representations, in the spirit of the VC-dimension, showing that classes of representations that have finite such dimension can be successfully learned with sample size error bounds, and end our discussion with an analysis of that dimension for classes of representations induced by linear embeddings.

研究の動機と目的

• ドメインの専門知識を、ユーザーが小さなデータサンプルのクラスタリングを提供することによってクラスタリングに統合するプロトコルを形式化すること。
• このようなユーザーラベル付きサンプルから表現学習を行う際の一般化を保証する統計的フレームワークを開発すること。
• 教師あり学習におけるVC次元に類似した表現クラスの能力を定義する概念を導入し、サンプル複雑度の分析を可能にすること。
• ユーザーのガイダンスを受けるk-meansクラスタリングにおける表現学習のサンプル複雑度と一般化誤差を分析すること。
• 提案されたフレームワーク下で、線形埋め込みによる表現学習に対して理論的保証を確立すること。

提案手法

• ユーザーがデータセットの小さなランダムサンプルのクラスタリングを提供し、これが監視信号として機能する。
• アルゴリズムは、マップされた空間でk-meansクラスタリングが全データセット上でユーザーのクラスタリングを再現するような表現（ユークリッド空間またはヒルバート空間への写像）を学習する。
• サンプル複雑度を分析するための統計モデルが導入され、一般化誤差の境界に注目する。
• 表現の小さな違いがクラスタリング結果の小さな違いにしか与えないと保証するため、$(\eta, \epsilon)$-一意性の概念が定義される。
• 表現クラスの能力がVC次元に類似した概念によって形式化され、一般化保証が可能になる。
• フレームワークは線形埋め込みに適用され、このようなクラスの能力次元が分析される。

実験結果

リサーチクエスチョン

• RQ1 小さなサンプルにおけるユーザーが提供するクラスタリングを一般化するデータ表現を学習する問題を形式的にモデル化できるか？
• RQ2 k-meansクラスタリングが全データセット上でユーザーのクラスタリングと一致するような表現を学習するために必要なサンプル複雑度は何か？
• RQ3 教師あり学習におけるVC次元に類似した一般化を保証する表現クラスの能力測度をどのように定義できるか？
• RQ4 線形埋め込みによって誘導される表現クラスの能力次元は何か？
• RQ5 このパラダイム下で、クラスタリングにおける表現学習の一般化誤差境界を提供できるか？

主な発見

• 本論文は、ユーザーが提供する小さなデータサンプルのクラスタリングを用いた、クラスタリングにおける表現学習の形式的統計的フレームワークを導入している。
• 小さな表現の違いがクラスタリングの違いにほとんど与えないことを保証する$(\eta, \epsilon)$-一意性の概念を定義している。
• 有限の能力を持つ表現クラス（VC次元に類似）は、一般化保証とともに学習可能であることが示されている。
• 線形埋め込みに対しては、有限の能力次元が導出されており、このようなクラスが提案されたフレームワーク下で学習可能であることが示されている。
• フレームワークは、サンプルサイズと表現能力に依存する一般化誤差境界を提供しており、学習された表現が全データセットにうまく一般化されることを保証している。
• 本アプローチは、恣意的な特徴工学の手法を越えて、ドメインエキスパートの知識をクラスタリングに原理的かつ体系的に統合する方法を形式化している。