[論文レビュー] An Information-theoretic Perspective of Hierarchical Clustering

Yicheng Pan, Feng Zheng+1 more|arXiv (Cornell University)|Aug 13, 2021

Advanced Clustering Algorithms Research参考文献 12被引用数 5

ひとこと要約

本稿では、構造的エントロピーに基づく情報理論的目的関数を用いて、ハイパーパrameterを必要とせず自然に階層レベル数を決定する、新しい階層的クラスタリング手法HCSEを提案する。伸縮操作を用いて再帰的にクラスタツリーの最も疎なレベルを段階的に最適化することで、合成データ上での内在的階層の同定においてLOUVAINおよびHLPを上回り、実ネットワーク上でも構造的バランスの維持と構造的エントロピーに基づくコストの最小化において競争力のある性能を発揮する。

ABSTRACT

A combinatorial cost function for hierarchical clustering was introduced by Dasgupta \cite{dasgupta2016cost}. It has been generalized by Cohen-Addad et al. \cite{cohen2019hierarchical} to a general form named admissible function. In this paper, we investigate hierarchical clustering from the \emph{information-theoretic} perspective and formulate a new objective function. We also establish the relationship between these two perspectives. In algorithmic aspect, we get rid of the traditional top-down and bottom-up frameworks, and propose a new one to stratify the \emph{sparsest} level of a cluster tree recursively in guide with our objective function. For practical use, our resulting cluster tree is not binary. Our algorithm called HCSE outputs a $k$-level cluster tree by a novel and interpretable mechanism to choose $k$ automatically without any hyper-parameter. Our experimental results on synthetic datasets show that HCSE has a great advantage in finding the intrinsic number of hierarchies, and the results on real datasets show that HCSE also achieves competitive costs over the popular algorithms LOUVAIN and HLP.

研究の動機と目的

• 階層的クラスタリングにおける許容可能なコスト関数の限界、すなわち非対称な木構造を好むことと、自然な階層の検出ができないことに対処する。
• 認知的および構造的直感に合致するバランスの取れたクラスターツリーを内蔵的に促進する情報理論的目的関数を開発する。
• ハイパーパrameterを必要とせず、階層レベル数を自動的に決定するクラスタリングアルゴリズムを設計する。
• 構造的エントロピーを介して、組合せ的コスト関数（例：Dasgupta）と情報理論的原則の橋渡しを確立する。
• LOUVAIN や HLP などの既存のヒューリスティック手法を、バランス性と解釈可能性をクラスタリングプロセスに組み込むことで改善する。

提案手法

• LiとPanの理論に基づく構造的エントロピーから、階層ネットワークの複雑さを定量化する新しいコスト関数を定式化する。
• 最適符号理論にインspiredされ、ツリーのバランスを自然な要因として組み込んだ、新しい目的関数を定義する。
• クラスターツリーの最も疎なレベルを再帰的に特定・精錬するための2つの原子的操作「ストレッチ」と「コンプレス」を導入する。
• 従来のトップダウンまたはボトムアップクラスタリングを避ける、疎なレベル最適化に焦点を当てた再帰的段階化フレームワークを開発する。
• 構造的エントロピーに基づく自動停止基準を設計し、ハイパーパrameterを一切必要とせず、内在的な階層レベル数を同定する。
• 任意のコスト関数と互換性を持つ一般化されたフレームワークとしてHCSEを実装し、構造的エントロピーの最小化とバランスの取れた、解釈可能なツリーの達成を重視する。

実験結果

リサーチクエスチョン

• RQ1 構造的エントロピーに基づく情報理論的目的関数は、許容可能なコスト関数の代替として、より自然でバランスの取れた選択肢を提供できるか？
• RQ2 完全グラフ（clique）において最適なクラスターツリーが完全にバランスを取るために、コスト関数の生成関数gに必要な条件は何か？
• RQ3 一様重み付き完全グラフの場合に、バランスの取れた最適クラスターツリーを達成するための必要十分条件は何か？
• RQ4 ハイパーパrameterを一切必要とせず、解釈可能な方法で階層レベル数を自動的に決定できるか？
• RQ5 非線形的かつボリューム依存のコスト関数（例：構造的エントロピー）は、近似保証を伴って効果的に最適化可能か？

主な発見

• kレベルHSBMモデルから生成された合成データセットにおいて、HCSEは真の階層レベル数の同定においてLOUVAINおよびHLPを著しく上回り、優れた内在的階層検出性能を示した。
• 実世界のネットワークにおいて、HCSEは10個のネットワークのうち8つで構造的エントロピーコスト（cost(SE)）を最低に抑え、全テストデータセットで競争力のあるDasguptaコスト（cost(Das)）を達成した。
• CSphdネットワークの最大部分グラフにおいて、HCSEは平均ジャカード係数0.20を達成し、HLP（0.16）およびLOUVAIN（0.17）を上回り、真のクラスタとより良好に一致していることを示した。
• 階層数が±1または2以内のネットワークでは、HCSEはすべてのケースで最良のcost(Das)を達成した。LOUVAINは深さの大きいツリーを形成するため、わずか数ケースでのみ優れた性能を示した。
• アルゴリズムはハイパーパrameterを一切必要とせず、多様なデータセットにおいて一貫性があり解釈可能な階層深さを自動的に決定する。
• HLPは全指標においてHCSEまたはLOUVAINを上回ることはなく、ヒューリスティック性がバランス性およびコスト最小化の両面で劣悪な性能をもたらすことを示した。