[論文レビュー] A unified framework for hard and soft clustering with regularized optimal transport

Diebold, Jean-Frédéric, Nicolas Papadakis+2 more|arXiv (Cornell University)|Nov 12, 2017

Bayesian Methods and Mixture Models参考文献 1被引用数 8

ひとこと要約

本稿では、有限混合モデルにおける正則化最適輸送を用いて、ハードクラスタリングとソフトクラスタリングを統一するフレームワークを提案する。Bregman散発度を用いることで、k-meansおよび期待最大化アルゴリズムが一般化され、指数分布族モデルにおけるクラスタリングの整合的な理論的基盤が提供される。

ABSTRACT

In this paper, we formulate the problem of inferring a Finite Mixture Model from discrete data as an optimal transport problem with entropic regularization of parameter $\\lambda\\geq 0$. Our method unifies hard and soft clustering, the Expectation-Maximization (EM) algorithm being exactly recovered for $\\lambda=1$. The family of clustering algorithm we propose rely on the resolution of nonconvex problems using alternating minimization. We study the convergence property of our generalized $\\lambda-$EM algorithms and show that each step in the minimization process has a closed form solution when inferring finite mixture models of exponential families. Experiments highlight the benefits of taking a parameter $\\lambda>1$ to improve the inference performance and $\\lambda\ o 0$ for classification.

研究の動機と目的

• 正則化最適輸送に基づく単一の最適化フレームワークとして、ハードクラスタリングとソフトクラスタリングの方法を統一すること。
• 有限混合モデルのパラメータ推定スキームの一般化として、k-meansおよび期待最大化アルゴリズムをインスタンスとして一般化すること。
• 指数分布族分布におけるクラスタリングとBregman散発度の理論的関係を確立すること。
• 標準的なクラスタリングアルゴリズムが特別なケースとして回復できる、柔軟で凸正則化された最適化アプローチを提供すること。

提案手法

• エントロピー正則化を用いて、有限混合モデルにおけるパラメータ推定を正則化最適輸送問題として定式化する。
• 輸送計画の滑らかさと計算の実行可能性を確保するために、Sinkhorn距離を適用する。
• 参加度、重み、クラスタパラメータを反復的に更新する交替最適化スキームを導出する。
• Bregman散発度を用いて、輸送コストと指数分布族の統計モデルを結びつける。
• 正則化パラメータλ → 0の極限でk-meansが得られ、λ → ∞の極限でEMが得られることを示す。
• 自然パラメータと十分統計量の双対性を用いて、クラスタプロトタイプの閉形式更新を導出する。

実験結果

リサーチクエスチョン

• RQ1 ハードクラスタリングとソフトクラスタリングを、単一の最適化フレームワークとして正式に統一することは可能か？
• RQ2 エントロピー正則化は、k-meansとEMアルゴリズムの間を補間する役割を果たすか？
• RQ3 Bregman散発度は、指数分布族混合モデルにおける最適輸送の文脈でどのように自然に出現するか？
• RQ4 正則化を介して、より一般的なクラスタリングフレームワークの特別なケースとしてk-meansとEMアルゴリズムを導出可能か？
• RQ5 正則化パラメータλと得られるクラスタリング行動との関係は何か？

主な発見

• k-meansアルゴリズムは、提案フレームワークにおける正則化パラメータλが0に近づく極限に対応する。
• 指数分布族混合モデルにおける期待最大化アルゴリズムは、λが無限大に近づく極限に対応する。
• λ = 1の場合、フレームワークは標準的なBregmanソフトクラスタリングアルゴリズムを再構築する。
• クラスタプロトタイプは、輸送計画から導かれる重み付きデータポイントの平均として更新される。
• 収束性と安定性を保証する凸正則化された最適化経路を提供する。
• Bregman散発度を用いた共通の最適輸送定式化に埋め込むことで、k-meansとEMが一般化される。