[論文レビュー] Weighted total variation based convex clustering

Guodong Xu, Yu Xia+1 more|arXiv (Cornell University)|Aug 28, 2018

Remote-Sensing Image Classification参考文献 23被引用数 3

ひとこと要約

本稿では、一般のデータに対して正確なクラスタリングを可能にし、理論的保証をより鋭くすることで、トータル・バリエーションに基づく凸クラスタリングを改善した重み付きℓ₁ノルムの和をとる凸クラスタリングモデルを提案する。合成データおよび実世界のデータセットにおいて、k-meansや階層的クラスタリングよりも優れた経験的性能を示しており、特に高次元および大規模クラスタ設定において顕著である。

ABSTRACT

Data clustering is a fundamental problem with a wide range of applications. Standard methods, eg the $k$-means method, usually require solving a non-convex optimization problem. Recently, total variation based convex relaxation to the $k$-means model has emerged as an attractive alternative for data clustering. However, the existing results on its exact clustering property, ie, the condition imposed on data so that the method can provably give correct identification of all cluster memberships, is only applicable to very specific data and is also much more restrictive than that of some other methods. This paper aims at the revisit of total variation based convex clustering, by proposing a weighted sum-of-$\ell_1$-norm relating convex model. Its exact clustering property established in this paper, in both deterministic and probabilistic context, is applicable to general data and is much sharper than the existing results. These results provided good insights to advance the research on convex clustering. Moreover, the experiments also demonstrated that the proposed convex model has better empirical performance when be compared to standard clustering methods, and thus it can see its potential in practice.

研究の動機と目的

• 既存のトータル・バリエーションに基づく凸クラスタリング手法の制限を解決すること。これらの手法は正確なクラスタリング条件が限定的であり、特定のデータタイプにしか適用できない。
• 一般のデータ分布（任意のクラスタ数、非i.i.d.データを含む）に対して正確なクラスタリングを保証する凸クラスタリングモデルの開発。
• 従来のTVベースの手法と比較して、よりきつい理論的分離条件を提供することで、スケーラビリティおよびクラスタサイズ比のロバストネスを向上させる。
• 高次元および大規模クラスタを有する実世界のデータセットにおいて、標準的なk-meansおよび階層的クラスタリングよりもモデルの経験的優位性を示すこと。

提案手法

• 標準のトータル・バリエーション形式を置き換えるために、凸最適化フレームワーク内に重み付きℓ₁ノルムの和の正則化項を提案し、より良いクラスタ分離を実現する。
• クラスタリング問題を凸最小化問題として定式化：データ点からクラスタ中心への偏差のフロベニウスノルムの最小化に加え、データ点間のペアワイズ差分の重み付きℓ₁ノルムを加える。
• 双対性および部分微分法を用いて、決定論的および確率的設定における正確なクラスタリング条件を確立し、解が真のクラスタ所属を回復することを保証する。
• プライマル・デュアル最適化技術およびADMMに類似したソルバーを活用し、高次元データへのスケーラビリティを実現する。
• ℓ₁ノルム項にデータ依存の重みを導入し、クラスタ間の不一致を適応的に強調することで、クラスタサイズの不均衡や非球形形状に対するロバストネスを向上させる。
• 非凸な合成クラスタおよび実データセット（Iris, AR顔, Libras, Leaf）を用いた数値実験によりモデルを検証し、評価指標としてRandインデックスを用いる。

実験結果

リサーチクエスチョン

• RQ1 重み付きトータル・バリエーションに基づく凸クラスタリングモデルは、任意のクラスタ数および非i.i.d.データを含む一般のデータ分布に対し、正確なクラスタリングを達成できるか？
• RQ2 提案手法における正確なクラスタリングの理論的分離条件は、既存のTVベースおよび他の凸クラスタリング手法と比較して、どの程度緩やかでスケーラブルか？
• RQ3 提案手法は、高次元および大規模クラスタを有する実世界のデータセットにおいて、標準的なk-meansおよび階層的クラスタリングを上回るクラスタリング精度を達成できるか？
• RQ4 非凸クラスタ、クラスタの不均衡、高次元性といったデータ構造の影響は、提案された凸クラスタリングモデルの性能にどのような影響を与えるか？

主な発見

• 提案された重み付きℓ₁ノルムの凸クラスタリングモデルは、一般のデータに対して正確なクラスタリングを達成でき、既存のTVベース手法と比較してはるかに鋭い理論的保証を有する。
• 本手法の正確なクラスタリング条件は、従来のTVベース手法よりも制限が少なく、クラスタサイズ比およびスケーラビリティの観点で他の凸クラスタリング技術を上回る。
• 非凸な合成クラスタにおいて、本手法は100回の反復で標準偏差0.000のRandインデックス0.996を達成し、k-means（平均0.517）およびk-means++（平均0.491）を著しく上回った。
• AR顔データセット（1クラスタあたり2,000枚の画像、100次元）において、本手法はすべてのベースラインを著しく上回り、高次元・大規模クラスタデータにおいて優れた性能を示した。
• 本手法は、全テストデータセット（Iris, AR顔, Libras, Leaf）において一貫して最高のパフォーマンスを示し、すべてのケースで最高のRandインデックスを記録した。
• 実験により、重み付きトータル・バリエーションによるk-meansの凸緩和が、理論的にも的確であり、特に困難な設定において経験的にも優れていることが確認された。