[論文レビュー] Bisect and Conquer: Hierarchical Clustering via Max-Uncut Bisection

Sara Ahmadian, Vaggos Chatziafratis+5 more|arXiv (Cornell University)|Dec 15, 2019

Advanced Clustering Algorithms Research参考文献 37被引用数 4

ひとこと要約

この論文は、Max-Uncut BisectionとAverage-Linkageを組み合わせた新しい階層的クラスタリングアルゴリズムを提示する。Dasguptaの目的関数の最大化双対問題に対して、0.4246の近似比を達成し、従来の最高の0.3363を著しく上回る。この手法はMax-Uncut Bisectionをブラックボックスサブルーチンとして使用しており、そのサブルーチンの品質に応じて性能が滑らかに低下するが、理論的保証と実用的導入の両方を可能にする。

ABSTRACT

Hierarchical Clustering is an unsupervised data analysis method which has been widely used for decades. Despite its popularity, it had an underdeveloped analytical foundation and to address this, Dasgupta recently introduced an optimization viewpoint of hierarchical clustering with pairwise similarity information that spurred a line of work shedding light on old algorithms (e.g., Average-Linkage), but also designing new algorithms. Here, for the maximization dual of Dasgupta's objective (introduced by Moseley-Wang), we present polynomial-time .4246 approximation algorithms that use Max-Uncut Bisection as a subroutine. The previous best worst-case approximation factor in polynomial time was .336, improving only slightly over Average-Linkage which achieves 1/3. Finally, we complement our positive results by providing APX-hardness (even for 0-1 similarities), under the Small Set Expansion hypothesis.

研究の動機と目的

• 階層的クラスタリングに強い解析的基盤が欠如している問題に対処し、Dasguptaの目的関数およびその最大化双対問題に基づくものである。
• 従来の半定値計画法による最良の0.3363を超える、階層的クラスタリングの最悪ケース近似比を改善すること。
• 既存のMax-Uncut Bisectionソルバをブラックボックスサブルーチンとして活用し、理論的保証と実用的実装を両立した、解析可能なアルゴリズムを開発すること。
• Small Set Expansion仮説の下で問題のAPX-hard性を確立し、近似の理論的限界を示すこと。
• Max-Uncut BisectionとAverage-Linkageを組み合わせることで、従来の凸緩和に基づく手法よりも優れた性能を達成できることを示すこと。

提案手法

• アルゴリズムは、デンドログラムの根でデータを2つのバランスの取れた部分集合に分割するためにMax-Uncut Bisectionを用いる。
• 各部分集合は再帰的にAverage-Linkageを用いて処理され、すべての段階で階層的クラスタリングが保証される。
• 目的関数の値は、最小共通祖先に基づいてエッジ寄与を内部部分木および外部部分木の成分に分解することで分析される。
• 主な技術的要素は、カットされたエッジの割合をパrameterとする、カットされていないエッジの期待重みの下界を導出することである。
• 近似比は、サブルーチンの性能（ρ ≈ 0.8776）と全体の階層的クラスタリング目的関数との関係を関係づけることで導出される。
• 解析により、アルゴリズムの近似因子がMax-Uncut Bisectionサブルーチンの品質に応じて滑らかに劣化することが示された。

実験結果

リサーチクエスチョン

• RQ1 Dasguptaの目的関数の最大化双対問題に対して、従来の最良の0.3363を超えるより良い最悪ケース近似比を達成できる階層的クラスタリングアルゴリズムは存在するか？
• RQ2 Max-Uncut Bisectionは、階層的クラスタリングフレームワークにおいて、強力な理論的保証をもたらすサブルーチンとして効果的に使用可能か？
• RQ3 Max-Uncut BisectionとAverage-Linkageを組み合わせることで、従来の半定値計画法に基づくアプローチよりも、より実用的かつ解析可能なアルゴリズムが得られるか？
• RQ4 Small Set Expansion仮説の下で、達成可能な最良の近似比は何か？また、問題はAPX-hardか？
• RQ5 Max-Uncut Bisectionサブルーチンの近似品質に応じて、アルゴリズムの近似因子はどのように変化するか？

主な発見

• 提案されたアルゴリズムは、Dasguptaの階層的クラスタリング目的関数の最大化双対問題に対して、0.4246の近似比を達成し、従来の最良の0.3363を著しく上回る。
• アルゴリズムはMax-Uncut Bisectionをブラックボックスサブルーチンとして使用しており、そのサブルーチンの品質に応じて近似比が滑らかに劣化する。
• 解析により、最適なバイセクション（ρ = 1）を用いた場合でも、達成可能な最良の近似比は4/9 ≈ 0.444に留まり、現在の境界がほぼタイトであることが示された。
• 本論文では、Small Set Expansion仮説の下で問題のAPX-hard性が確立され、0-1類似度行列に対しても同様に成立するため、近似の理論的限界が強く示された。
• この手法は理論的にも堅牢であり、実用的導入にも適しており、優れたMax-Uncut Bisectionソルバが既に文献に存在するため、容易に実装可能である。
• 従来の複雑な半定値計画法に基づく緩和手法に比べ、本アルゴリズムは単純で解釈性が高く、優れた性能を示した。