[論文レビュー] Hard Clusters Maximize Mutual Information

Bernhard C. Geiger, Rana Ali Amjad|arXiv (Cornell University)|Aug 17, 2016

Complexity and Algorithms in Graphs参考文献 9被引用数 3

ひとこと要約

この論文は、情報理論的クラスタリング問題（情報ボトルネックやコクラスタリングを含む）において、ハード（決定的）クラスタ割り当てが相互情報量を最大化することを示している。相互情報量の凸性の性質を活用することで、著者らは、実数値のソフトクラスタリング最適化が、組み合わせ的ハードクラスタリングと同一のグローバル最適解を達成することを証明しており、離散探索ではなく連続的手法による効率的な最適化を可能にしている。

ABSTRACT

In this paper, we investigate mutual information as a cost function for clustering, and show in which cases hard, i.e., deterministic, clusters are optimal. Using convexity properties of mutual information, we show that certain formulations of the information bottleneck problem are solved by hard clusters. Similarly, hard clusters are optimal for the information-theoretic co-clustering problem that deals with simultaneous clustering of two dependent data sets. If both data sets have to be clustered using the same cluster assignment, hard clusters are not optimal in general. We point at interesting and practically relevant special cases of this so-called pairwise clustering problem, for which we can either prove or have evidence that hard clusters are optimal. Our results thus show that one can relax the otherwise combinatorial hard clustering problem to a real-valued optimization problem with the same global optimum.

研究の動機と目的

• 相互情報量をコスト関数として使用する際、ハードクラスタリングがどのような条件下で最適となるかを理解すること。
• 特定の定式化のもとで、組み合わせ的ハードクラスタリングと連続的ソフトクラスタリングのグローバル最適解が等価であることを示し、両者のギャップを埋めること。
• 両方のデータセットが同じクラスタ割り当てを使用しなければならないペアワイズクラスタリング問題を分析し、ハードクラスタリングが最適となる条件を同定すること。
• 相互情報量に基づくクラスタリングにおいて、離散的組み合わせ的手法ではなく連続的最適化を用いる理論的根拠を提供すること。
• ペアワイズクラスタリングにおいて一般に非最適であるが、実用的な特殊ケースではハードクラスタリングが最適となる状況を同定すること。

提案手法

• 相互情報量の凸性の性質を用いて、情報理論的クラスタリング問題におけるハードクラスタリングの最適性を分析する。
• 情報ボトルネックフレームワークとコクラスタリング定式化を適用し、相互情報量の最大化が決定的クラスタ割り当てをもたらすことを示す。
• 特徴ベクトルからチャネル行列を介して結合分布を導出する確率的モデルを導入し、データを潜在変数の観測値としてモデル化する。
• 行列分解とチャネルモデリング（例：正の特徴ベクトルを伴うグラミアンモデル）を用いて、結合分布を P ∝ UΛU† の形で表現する。
• 決定的行列分解を用いて相互情報量の上界を導出し、それらをソフトクラスタリングの解と比較する。
• 共有クラスタ割り当てをモデル化することでペアワイズクラスタリング問題を分析し、ハードクラスタリング最適性の十分条件を調査する。

実験結果

リサーチクエスチョン

• RQ1 相互情報量を最大化するクラスタリング問題において、ハードクラスタリングが最適となる条件は何か？
• RQ2 組み合わせ的ハードクラスタリング問題を、同じグローバル最適解を持つ連続的最適化問題に緩和できるか？
• RQ3 情報ボトルネックおよびコクラスタリングフレームワークにおいて、相互情報量の最大化はハードクラスタリングと等価か？
• RQ4 両方のデータセットが同じクラスタ割り当てを持つペアワイズクラスタリング問題において、ハードクラスタリングは最適か？
• RQ5 ペアワイズクラスタリング問題のどのような実用的特殊ケースがハードクラスタ解を許容するか？

主な発見

• 相互情報量の凸性のおかげで、標準的な情報ボトルネックおよびコクラスタリング問題において、ハードクラスタリングが最適である。
• これらの設定において、実数値のソフトクラスタリング問題のグローバル最適解は、組み合わせ的ハードクラスタリング問題のそれと一致する。
• 共有クラスタ割り当てを伴うペアワイズクラスタリング問題では、一般にハードクラスタリングが最適ではないが、特定の実用的ケースでは最適である。
• グラミアンモデル（正の特徴ベクトルを伴うコサイン類似度モデル）では、数値的証拠がハードペアワイズクラスタリングが最適であることを示唆している。
• ハードペアワイズクラスタリング最適性の十分条件が導出されたが、一般の証明は未解決であり、(34)および(35)が前向きな道筋を示している。
• 今後の証明開発のための重要な候補として、I(Y₁;Y₂) = I(Z;Y₁) + I(Z;Y₂) − I(Z;Y₁,Y₂) という相互情報量の式が同定された。