[論文レビュー] Optimal quantization of the mean measure and applications to statistical learning

Frédéric Chazal, Clément Levrard+1 more|arXiv (Cornell University)|Feb 4, 2020

Topological and Geometric Data Analysis被引用数 4

ひとこと要約

本稿では、i.i.d. 離散測度（例：パーシステンス図や点過程）の平均測度の最適量子化を、バッチおよびミニバッチアルゴリズムを用いて提案する。これらのアルゴリズムは、ほぼミニマックス最適な収束速度を達成する。量子化された重心に基づく R^k へのベクトル化写像を導入することで、混合モデルにおける測度の証明可能に効果的なクラスタリングが可能となり、トポロジカルデータ解析および分類タスクにおいて理論的保証と実証的検証がなされている。

ABSTRACT

This paper addresses the case where data come as point sets, or more generally as discrete measures. Our motivation is twofold: first we intend to approximate with a compactly supported measure the mean of the measure generating process, that coincides with the intensity measure in the point process framework, or with the expected persistence diagram in the framework of persistence-based topological data analysis. To this aim we provide two algorithms that we prove almost minimax optimal. Second we build from the estimator of the mean measure a vectorization map, that sends every measure into a finite-dimensional Euclidean space, and investigate its properties through a clustering-oriented lens. In a nutshell, we show that in a mixture of measure generating process, our technique yields a representation in $\\mathbb{R}^k$, for $k \\in \\mathbb{N}^*$ that guarantees a good clustering of the data points with high probability. Interestingly, our results apply in the framework of persistence-based shape classification via the ATOL procedure described in \\cite{Royer19}.

研究の動機と目的

• スカラーやベクトルデータではなく、離散測度（例：パーシステンス図、点パターン）として表現されるデータのクラスタリングという課題に取り組む。
• 測度を有限次元ユークリッド空間に写像するベクトル化手法を構築し、クラスタ構造を保持する。
• 測度生成プロセスの混合モデルフレームワーク下で、クラスタリング性能に関する理論的保証を提供する。
• ウォッシャークンバリーの計算に代わる、平均測度の近似を効率的に実行するアルゴリズムを設計する。
• トポロジカルデータ解析における ATOL 手順を含め、広範な応用が可能であることを保証し、実データおよび合成データを用いた実証的検証を実施する。

提案手法

• 真の平均測度 $\mathbb{E}(X)$ のプラグイン推定器として、標本平均測度 $\bar{X}_n = \frac{1}{n}\sum_{i=1}^n X_i$ を用いる。
• バッチおよびミニバッチ量子化アルゴリズムを適用し、$L^2$-ウォッシャークンバリー意味で $\mathbb{E}(X)$ を最適に近似する $k$ ポイントコードブック $\mathbf{c} = (c_1, \dots, c_k)$ を計算する。
• 各測度 $X_i$ を、量子化された点 $c_j$ を中心とするカーネル関数の評価により $\mathbb{R}^k$ 内のベクトルに写像するベクトル化写像を定義する。これにより、有限次元埋め込みが可能となる。
• 平均測度にかかる構造的仮定の下で、最良の $k$ ポイント近似の推定において、アルゴリズムがほぼミニマックス最適なレートを達成することを理論的に証明する。
• シャッタリングおよび濃度の議論を活用し、混合モデルにおいて、得られたベクトル化が高確率でクラスタ分離を保つことを証明する。
• パーシステンスに基づくトポロジカルデータ解析とこの手法を結びつけるために、ATOL 手順およびカーネルベースのベクトル化スキームと整合性があることを示す。

実験結果

リサーチクエスチョン

• RQ1 離散測度の分布の平均測度を、有限次元量子化スキームを用いてミニマックス最適に推定することは可能か？
• RQ2 測度生成プロセスの混合モデルにおいて、測度から $\mathbb{R}^k$ へのベクトル化写像をどのように設計すれば、クラスタ構造を保持できるか？
• RQ3 量子化された重心をベクトル化の基点として用いる場合、クラスタリング性能に関する理論的保証はどの程度得られるか？
• RQ4 提案されたバッチおよびミニバッチ量子化アルゴリズムは、測度値データに対して、古典的な $k$-means と比較して、最適性および計算効率の面でどのように異なるか？
• RQ5 この手法は、特にパーシステンス図のクラスタリングの文脈において、トポロジカルデータ解析にどの程度一般化可能か？

主な発見

• 提案されたバッチおよびミニバッチ量子化アルゴリズムは、平均測度 $\mathbb{E}(X)$ の最良の $k$ ポイント近似を推定する際、ややきつい構造的仮定の下で、ほぼミニマックス最適な収束速度を達成する。
• 量子化された重心におけるカーネル評価に基づくベクトル化写像は、混合モデルにおいて、元の測度空間におけるクラスタが $\mathbb{R}^k$ において高確率で保持されることを保証する。
• 本手法は、特にパーシステンス図に対して、トポロジカルデータ解析の文脈における測度ベースのクラスタリングアルゴリズムに対する理論的保証を初めて提供する。
• ATOL 手順において、$\Psi_{AT}$ を用いたカーネルベースのベクトル化は、適切な条件下で $(p, r, 1)$-シャッタリング写像であることが示され、クラスタ分離が保証される。
• 合成および実データセット、ならびにテキスト分類やグラフ分類を含む実データを用いた実証的結果により、本手法のクラスタリングおよび分類タスクにおける有効性が確認された。
• 理論的枠組みは、標準的な点サンプル $k$-means の設定においても、古典的量子化技術の最適性を回復する。