[論文レビュー] Interactive Bayesian Hierarchical Clustering

Sharad Vikram, Sanjoy Dasgupta|arXiv (Cornell University)|Feb 10, 2016

Advanced Clustering Algorithms Research参考文献 31被引用数 7

ひとこと要約

本稿では、ユーザーが指定する三つ組制約（例：\{a,b\} と c は同じクラスタに属するべき）を、マルコフ連鎖モンテカルロ（MCMC）サンプリングを用いたディリクレ拡散木（DDT）フレームワークに統合するインタラクティブなベイジアン階層的クラスタリング手法を提案する。高分散の部分木を積極的に選択してユーザーのフィードバックを得ることで、MNIST や Fisher Iris といった実データセットにおいて、通常の DDT や平均リンク法に比べてデータ尤度および三つ組距離の面で優れた収束性能を達成する。

ABSTRACT

Clustering is a powerful tool in data analysis, but it is often difficult to find a grouping that aligns with a user's needs. To address this, several methods incorporate constraints obtained from users into clustering algorithms, but unfortunately do not apply to hierarchical clustering. We design an interactive Bayesian algorithm that incorporates user interaction into hierarchical clustering while still utilizing the geometry of the data by sampling a constrained posterior distribution over hierarchies. We also suggest several ways to intelligently query a user. The algorithm, along with the querying schemes, shows promising results on real data.

研究の動機と目的

• 教師なし階層的クラスタリングがユーザー固有のグループ分けの好みに一致しないという課題に対処すること。
• 既存の制約付きクラスタリング手法が主に平坦クラスタリングに限定されており、階層構造には対応できないという制限を克服すること。
• データの幾何構造と三つ組制約による逐次的ユーザーのフィードバックを統合したベイジアンフレームワークを設計し、階層的木構造を精緻化すること。
• ユーザーの負担を最小限に抑えつつ、望ましい階層構造への収束速度を最大化する知的な問い合わせ戦略を開発すること。
• データ駆動の構造とユーザーの意図の両立を実現する、ユーザーが関与するインタラクティブな階層的クラスタリングを可能にすること。

提案手法

• 階層的クラスタリングの事前分布としてディリクレ拡散木（DDT）を採用し、木構造上の非パラメトリックベイジアン推論を可能にする。
• ユーザーが提供する三つ組制約（例：(\{a,b\},c)）をハード制約として組み込み、制約付き後方分布からのサンプリングにメトロポリス・ハスティングスMCMCサンプラーを用いる。
• サンプリングされた木構造における構造的曖昧さを定量化するためのツリー距離分散（TDV）指標を導入する：$\text{TDV}(\mathcal{T},S) = \max_{u,v\in S} \mathrm{Var}_{T\in\mathcal{T}}[\texttt{treedist}_{T|_S}(u,v)]$。この指標を用いて、情報量の多い部分木を選択する。
• 一定サイズ（例：|S|=10）のサブセット $S$ を、TDVが最大となるものから選択するアクティブな問い合わせ戦略を実装し、1回のユーザー対話で得られる情報量を最大化する。
• 局所最適解に陥るのを避けるために、アクティブな問い合わせとランダムな問い合わせを交互に実行するインタレーティッド方式を採用する。
• MCMC探索を誘導するためのデータ尤度の獲得関数 $a(t) = 1/(1-t)$ を用い、データからブラウン運動パラメータ $\sigma^2$ を推定する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーがガイドする三つ組制約を、ベイジアン階層的クラスタリングに効果的に統合することで、望ましい木構造の学習を可能にするか？
• RQ2 アルゴリズムは、情報量を最大化し、ユーザーの負担を最小限に抑えるために、どの部分木をユーザーに提示すべきかを知的に選択できるか？
• RQ3 ツリー距離分散に基づくアクティブな部分木問い合わせは、ランダムまたは均一な問い合わせ戦略に比べて収束を速くするか？
• RQ4 三つ組制約は、階層的クラスタリングにおけるMCMCサンプラーの収束性とデータ尤度にどの程度寄与するか？
• RQ5 実世界のデータセットにおいて、インタラクティブなベイジアン階層的クラスタリングは、通常のDDTや平均リンク法といったベースライン手法に比べて性能が優れているか？

主な発見

• MNIST および Fisher Iris において、ランダムと高分散部分木を交互に問い合わせるインタレーティッド問い合わせ戦略が、単独のランダムまたはアクティブ問い合わせに比べてより速い収束と低い三つ組距離を達成した。
• ツリー距離分散に基づくアクティブな問い合わせは収束速度を顕著に向上させ、高品質な木に到達するまでの反復回数を削減した。
• MNIST および Fisher Iris において、インタラクティブ手法は、通常のDDTおよび平均リンク法の両方を上回る高いデータ尤度を達成しており、後方分布の近似がより良いことを示している。
• シミュレーションでは、全木を表示し、違反する三つ組を特定するスマートな問い合わせ戦略が、最小限の問い合わせ回数で最も低い誤差を達成したが、大規模な木に対しては現実的でない。
• 制約からの学習に伴い、データ尤度が時間経過とともに急激に上昇した。これは、三つ組制約がMCMCが悪い局所最適解から脱出するのを助けることを示唆している。
• 20 Newsgroups や Zoo を含むすべてのテストデータセットで、適切に制約が組み込まれた場合、アルゴリズムは望ましい階層構造 $T^*$ に正常に収束した。