[論文レビュー] Hierarchical Clustering with Structural Constraints

Vaggos Chatziafratis, Rad Niazadeh+1 more|arXiv (Cornell University)|May 24, 2018

Advanced Clustering Algorithms Research参考文献 5被引用数 24

ひとこと要約

この論文は最適化フレームワークを活用して、構造的制約を伴う階層的クラスタリングに対する証明可能に効果的なアプローチを提案する。制約が矛盾する場合ですら、近似保証を備えたトップダウンアルゴリズムを提案し、性能の上限を改善するために、新規の依存度測度を導入する。

ABSTRACT

Hierarchical clustering is a popular unsupervised data analysis method. For many real-world applications, we would like to exploit prior information about the data that imposes constraints on the clustering hierarchy, and is not captured by the set of features available to the algorithm. This gives rise to the problem of "hierarchical clustering with structural constraints". Structural constraints pose major challenges for bottom-up approaches like average/single linkage and even though they can be naturally incorporated into top-down divisive algorithms, no formal guarantees exist on the quality of their output. In this paper, we provide provable approximation guarantees for two simple top-down algorithms, using a recently introduced optimization viewpoint of hierarchical clustering with pairwise similarity information [Dasgupta, 2016]. We show how to find good solutions even in the presence of conflicting prior information, by formulating a constraint-based regularization of the objective. We further explore a variation of this objective for dissimilarity information [Cohen-Addad et al., 2018] and improve upon current techniques. Finally, we demonstrate our approach on a real dataset for the taxonomy application.

研究の動機と目的

• 階層的クラスタリングに、三つ組制約やルート付き部分木制約などの構造的制約を組み込む際、アルゴリズムの保証を損なわずに行う挑戦に取り組む。
• 特に矛盾するか実行不能な制約がある状況下でも、制約を伴うトップダウン階層的クラスタリングアルゴリズムに対して形式的な近似保証を提供する。
• Dasgupta（2016）の階層的クラスタリングの最適化フレームワークを、正則化およびハイパーグラフスパーストカット技術を用いて制約を扱えるように拡張する。
• 従来の距離に基づく階層的クラスタリング手法を改善し、洗練された目的関数とアルゴリズム的手法を導入する。
• 実世界の分類体系データセットを用いた実験により、制約付き環境下での手法の実用的妥当性を検証する。

提案手法

• 階層的クラスタリングの最適化的視点（Dasgupta, 2016）を採用し、重み付き最低共通祖先部分木サイズの合計を最小化する目的関数として定式化する。
• 実行不能または矛盾する制約を扱うために、ハイパーグラフスパーストカット問題を用いた制約ベースの目的関数の正則化を導入する。
• 制約クラス間の相互依存関係をモデル化するための依存度有向グラフを定義する。
• 段階的な依存度部分グラフと依存度測度（DMC）を提案し、制約の保護の深さを定量化することで、より洗練された近似保証を可能にする。
• 制約を尊重するトップダウンの再帰的ランダムカット法として、Constrained-RRCアルゴリズムを設計し、依存度測度に依存する近似要因を達成する。
• Constrained-RRCが、距離に基づくHC目的関数に対してα-近似であることを証明し、α = 2(1−k/n)/(3·DMC) となる。ここで DMC はすべての制約クラスにおける最大依存度測度である。

実験結果

リサーチクエスチョン

• RQ1 構造的制約が課された場合でも、トップダウン階層的クラスタリングアルゴリズムが証明可能な近似保証を達成できるか？
• RQ2 矛盾するか実行不能な制約を階層的クラスタリングに組み込む際、アルゴリズムの性能保証を維持するにはどうすればよいか？
• RQ3 制約同士の依存関係が、階層的クラスタリングの解の質に与える影響は何か？
• RQ4 Dasgupta（2016）の最適化フレームワークは、距離に基づく階層的クラスタリングに改善された保証をもたらす形で拡張可能か？
• RQ5 制約の依存度測度が、階層的クラスタリングアルゴリズムの近似要因に与える影響は何か？

主な発見

• Constrained-RRCアルゴリズムは、距離に基づくHC目的関数に対してα = 2(1−k/n)/(3·DMC)の近似要因を達成する。ここで DMC は制約集合の依存度測度である。
• 依存度測度が定数である場合、Constrained-RRCはO(1)-近似を提供する。これは、構造が整った制約下で強力な性能を示すことを意味する。
• 依存度測度は、他の制約がどれだけ制約の根拠を深く保護しているかを定量的に捉えており、アルゴリズムの性能分析を洗練可能にする。
• ハイパーグラフスパーストカット問題を用いた正則化により、実行不能な制約の効果的処理が可能となり、解の品質が維持される。
• 理論的保証が、距離設定におけるDasguptaの目的関数の変種へと拡張され、従来の技術を上回る。
• 実際の分類体系データセットを用いた実証的検証により、意味的で制約を尊重する階層的構造を生成する手法の実用的有効性が確認された。