[論文レビュー] Clustering with a Reject Option: Interactive Clustering as Bayesian Prior Elicitation

Akash Srivastava, James Zou+2 more|arXiv (Cornell University)|Jun 19, 2016

Machine Learning and Algorithms参考文献 25被引用数 8

ひとこと要約

本論文は、不満足な結果を単に拒否するだけで、多様で高品質なクラスタリングを探索できる、革新的なインタラクティブクラスタリングフレームワークTINDERを紹介する。拒否フィードバックをベイジアン事前分布の獲得とモデル化することで、TINDERは反復的にクラスタリング事前分布を修正し、次第に異なるがデータに適合するクラスタリングを生成する。これは、ランダムリスタートに比べて多様性を著しく上回りつつ、受け入れ可能なクラスタリング品質を維持する。

ABSTRACT

A good clustering can help a data analyst to explore and understand a data set, but what constitutes a good clustering may depend on domain-specific and application-specific criteria. These criteria can be difficult to formalize, even when it is easy for an analyst to know a good clustering when they see one. We present a new approach to interactive clustering for data exploration called TINDER, based on a particularly simple feedback mechanism, in which an analyst can reject a given clustering and request a new one, which is chosen to be different from the previous clustering while fitting the data well. We formalize this interaction in a Bayesian framework as a method for prior elicitation, in which each different clustering is produced by a prior distribution that is modified to discourage previously rejected clusterings. We show that TINDER successfully produces a diverse set of clusterings, each of equivalent quality, that are much more diverse than would be obtained by randomized restarts.

研究の動機と目的

• 探索的データ分析における「良い」クラスタリングの定義という課題に取り組む。ここでは、ユーザーの直感が形式化可能な基準を上回ることが多い。
• 正確な改善目標を指定する必要なく、複数の質的に異なるクラスタリングをアナリストが探索できるようにすること。
• ユーザーの拒否フィードバックをベイジアンクラスタリングフレームワークにおける事前分布の獲得メカニズムとして形式化すること。
• 互いに体系的に異なる多様な高品質クラスタリングを生成すること。
• インタラクティブクラスタリングと代替クラスタリングを統合し、構築的でないフィードバック（拒否）を可能にしつつ、クラスタリング品質を維持すること。

提案手法

• アナリストがクラスタリングを拒否し、新しいクラスタリングを要求するフィードバックループをTINDERが使用する。
• 各新しいクラスタリングは、以前に拒否されたクラスタリングとの類似性をペナルティ化することで事前分布を修正することによって生成される。
• ベイジアンフレームワークを採用し、新しいクラスタリングと拒否されたクラスタリングの相互情報量に比例するペナルティ項を用いて事前分布を更新する。
• 温度パラメータβを用いてペナルティ項をスケーリングし、多様性とデータ適合性のバランスを保ち、新しいクラスタリングが定量的に良好なままであるようにする。
• 拒否されたクラスタリングの履歴を保持し、すべての反復において累積的なペナルティを適用することで、多様性を促進する。
• クラスタリングは標準的なアルゴリズム（例：GMM）を用い、多様性を促進するペナルティを含むように目的関数を変更する。

実験結果

リサーチクエスチョン

• RQ1 単純な拒否ベースのフィードバックメカニズムは、多様で高品質なクラスタリングの探索を効果的に導けるか？
• RQ2 ユーザーの拒否フィードバックは、ベイジアンクラスタリングモデルにおいてどのように事前分布の獲得として形式化できるか？
• RQ3 TINDERはランダムリスタートに比べて、どの程度クラスタリングの多様性を向上させるか？
• RQ4 TINDERは多様な結果を生成しながらも、受け入れ可能なクラスタリング品質を維持できるか？
• RQ5 温度パラメータβは、多様性とクラスタリング精度のトレードオフにどのように影響するか？

主な発見

• TINDERは、ランダムリスタートに比べて、クラスタリングの割合が50％以上も低い、顕著な多様性を実現している。
• TINDERにおける連続するクラスタリングの多様性（ARSで測定）は、ベースラインを常に上回っており、図2の中央のプロットで示されている。
• TINDERが生成するクラスタリング集合全体の多様性は顕著に優れており、図2の実線赤線が、すべてのペアに対して一貫して低い重複度を示している。
• TINDERは、わずかにベースラインより低下するが、依然として受け入れ可能な純度スコアを示すことで、妥当なクラスタリング品質を維持している。
• この手法は、5回のフィードバック反復後にCIFAR10で初期クラスタリングに存在しなかった、鳥、飛行機、ネコの明確なクラスタを発見した。
• 経験的に、ペナルティ項と対数尤度のバランスを取るためにβを設定することで、多様性とデータ適合性の有効なトレードオフが達成される。