[論文レビュー] Flow-based Algorithms for Improving Clusters: A Unifying Framework, Software, and Performance

Kimon Fountoulakis, Muyang Liu+2 more|arXiv (Cornell University)|Apr 20, 2020

Complex Network Analysis Techniques参考文献 156被引用数 6

ひとこと要約

本論文は、グラフおよびベクトル空間における既存のクラスタの効率的で原理的ないじめを可能にする、フローベーストクラスタ改善アルゴリズムの統一的分数プログラミングフレームワークを導入する。オープンソースのLocalGraphClustering Pythonパッケージに実装された、FlowImprove、LocalFlowImprove、MQIのアルゴリズムのスイートを提案し、ソーシャルネットワークおよび画像ベースのデータグラフにおいて顕著なコンダクタンスの低減と性能向上を示している。

ABSTRACT

Clustering points in a vector space or nodes in a graph is a ubiquitous primitive in statistical data analysis, and it is commonly used for exploratory data analysis. In practice, it is often of interest to "refine" or "improve" a given cluster that has been obtained by some other method. In this survey, we focus on principled algorithms for this cluster improvement problem. Many such cluster improvement algorithms are flow-based methods, by which we mean that operationally they require the solution of a sequence of maximum flow problems on a (typically implicitly) modified data graph. These cluster improvement algorithms are powerful, both in theory and in practice, but they have not been widely adopted for problems such as community detection, local graph clustering, semi-supervised learning, etc. Possible reasons for this are: the steep learning curve for these algorithms; the lack of efficient and easy to use software; and the lack of detailed numerical experiments on real-world data that demonstrate their usefulness. Our objective here is to address these issues. To do so, we guide the reader through the whole process of understanding how to implement and apply these powerful algorithms. We present a unifying fractional programming optimization framework that permits us to distill, in a simple way, the crucial components of all these algorithms. It also makes apparent similarities and differences between related methods. Viewing these cluster improvement algorithms via a fractional programming framework suggests directions for future algorithm development. Finally, we develop efficient implementations of these algorithms in our LocalGraphClustering Python package, and we perform extensive numerical experiments to demonstrate the performance of these methods on social networks and image-based data graphs.

研究の動機と目的

• 学習曲線が急で、ソフトウェアの不足や実証的検証の不十分さにより、実際の現場で強力なフローベーストクラスタ改善アルゴリズムが十分に活用されていない問題に対処する。
• コンダクタンス最適化、ローカルグラフクラスタリング、画像セグメンテーションなどの多様なクラスタ改善手法を、単一の分数プログラミングフレームワークに統一する。
• 実務家や研究者にとっての入り口を下げるために、効率的でオープンソースのソフトウェア（LocalGraphClustering）を開発する。
• 大規模な実世界のデータセットを用いた広範な数値実験を通じて、フローベースト手法の実用的有効性を実証する。
• 今後のローカルおよびグローバルクラスタリング分野における開発の新たな方向性を示唆する理論的知見とアルゴリズム的要素を提供する。

提案手法

• クラスタ品質指標（例：コンダクタンス）の比率を最適化する問題としてクラスタ改善を定式化し、サイズやボリュームを分母にとる。
• Dinkelbachのアルゴリズムと、より高速なルート探索の変種を用いて、分数プログラミングの部分問題を反復的に解く。
• 変更されたデータグラフ上で最大フロー問題の系列を解くフローベーストアルゴリズム（MQI、FlowImprove、LocalFlowImprove）を設計する。
• ブロッキングフローと部分問題ソルバを用いた強力なローカル構成を導入し、計算コストとメモリ使用量を削減する。
• ローカルスペクトル法による埋め込みと、サンプリングされたフロー結果に対するSVDを組み合わせ、クラスタ構造を保持するローカルフローエンベッディングを生成する。
• 空間的および色の類似性に基づくガウスカーネル重みを用いて、画像を重み付き近隣グラフに変換し、グラフクラスタリングによる画像セグメンテーションを可能にする。

実験結果

リサーチクエスチョン

• RQ1 多様なフローベーストクラスタ改善アルゴリズムを、単一の理論的フレームワークに統一するにはどうすればよいか？
• RQ2 最大フロー計算を用いた効率的かつ効果的なクラスタ精錬を可能にする、鍵となるアルゴリズム的要素は何か？
• RQ3 コンダクタンス低減とスケーラビリティの観点から、スペクトルクラスタリングやPageRankなどの従来手法と比較して、フローベースト手法はどのように異なるか？
• RQ4 原理的でソフトウェアに埋め込まれたフレームワークは、実世界の応用におけるクラスタ改善の採用と性能に顕著な向上をもたらすのか？
• RQ5 大規模なソーシャルネットワークおよび画像ベースのデータグラフにおいて、フローベースト手法の実証的性能はいかがなものか？

主な発見

• 分数プログラミングフレームワークは、複数のクラスタ改善アルゴリズムを効果的に統一し、共通する構造的要素を明らかにするとともに、体系的な比較を可能にした。
• LocalGraphClusteringパッケージは、MQI、FlowImprove、LocalFlowImproveの効率的で再利用可能な実装を提供し、実世界のデータセットでその性能を実証した。
• フローベースト手法は、ローカルグラフクラスタリングおよび半教師あり学習タスクにおいて、ベースライン手法よりも顕著にコンダクタンスを低減した。
• LocalFlowImproveアルゴリズムは優れた局所性を達成し、大規模グラフ上で数千のクラスタを最小限の計算オーバーヘッドでスケーラブルに精錬可能であった。
• ローカルフローエンベッディングはクラスタ構造を保持し、社会的ネットワークおよび画像グラフの可視化から、意味のある幾何的関係を明らかにした。
• ソーシャルネットワークおよび画像データにおける実証的結果から、フローベースト手法は、スペクトル的手法や拡散に基づく手法と同等またはそれ以上のクラスタ品質と頑健性を示した。