[論文レビュー] Statistical bounds for entropic optimal transport: sample complexity and the central limit theorem

Gonzalo E. Mena, Jonathan Niles‐Weed|arXiv (Cornell University)|May 28, 2019

Geometric Analysis and Curvature Flows被引用数 68

ひとこと要約

この論文は、任意の次元でサブガウシアン測度を用いたエントロピック最適輸送の新しいサンプル複雑度境界と中心極限定理を導出し、これらの結果をガウスノイズ下のエントロピー推定に適用する。

ABSTRACT

We prove several fundamental statistical bounds for entropic OT with the squared Euclidean cost between subgaussian probability measures in arbitrary dimension. First, through a new sample complexity result we establish the rate of convergence of entropic OT for empirical measures. Our analysis improves exponentially on the bound of Genevay et al. (2019) and extends their work to unbounded measures. Second, we establish a central limit theorem for entropic OT, based on techniques developed by Del Barrio and Loubes (2019). Previously, such a result was only known for finite metric spaces. As an application of our results, we develop and analyze a new technique for estimating the entropy of a random variable corrupted by gaussian noise.

研究の動機と目的

• 有界なサポートを超えたエントロピック OT の統計的挙動の理解を促進する。
• 有界でない測度に対する母集団と経験的エントロピックコストの差について非漸近的境界を提供する。
• 一般的なサブガウシアン設定におけるエントロピック OT の中心極限定理を確立する。
• ガウスノイズで汚染された変数のエントロピー推定へのエントロピック OT の適用。

提案手法

• エントロピック OT の双対定式化と最適ポテンシャル (f,g) を用いて S(P,Q) と S(Pn,Qn) を関連づける。
• 最適ポテンシャルのコンパクト集合上の Hölder ノルムを制御して指数関数的境界を排除した境界を導入する。
• 経験的過程理論と関数クラスのカバー数を用いて E|S(P,Q)-S(Pn,Qn)| を上界化する。
• P と Q がサブガウシアンであるとき S(Pn,Qn) に関する中心極限定理を Del Barrio–Loubès のアプローチに従って証明する。
• エントロピック OT を用いて X+Gaussian ノイズのエントロピーのプラグイン推定量を導出・解析し、分散特性を特徴付ける。
• 理論的主張を検証するシミュレーションを提供し、エントロピー推定の適用を示す。

実験結果

リサーチクエスチョン

• RQ1 R^d におけるサブガウシアン測度に対して、経験的エントロピック OT コスト S(Pn,Qn) が母集団コスト S(P,Q) に収束する速度（レート）はどれくらいか？
• RQ2 サブガウシアン設定でエントロピック OT コストは中心極限定理を満たすのか、漸近分散は何か？
• RQ3 エントロピック OT を用いてガウスノイズと畳み込まれた確率変数の微分エントロピーを推定するにはどうすればよく、統計的保証は何か？
• RQ4 有界・有限設定と比較して、有界でないサポートはエントロピック OT の統計的挙動にどのような影響を与えるか？

主な発見

• σ^2-サブガウシアン P,Q に対して、期待誤差 E|S(P,Q)-S(Pn,Qn)| ≤ C_d(1+σ^{⟨5d/2⟩+6})/√n、以前の境界を改善し大径に依存する結合を排除する。
• 中心極限定理を確立: √n(S(Pn,Q)-E[S(Pn,Q)]) は N(0, Var_P(f(X))) に収束する。
• P および Q から独立な標本を用いる二標本設定では、√(mn/(m+n))(S(Pn,Qm)-E[S(Pn,Qm)]) は分散 (1−λ)Var_P(f(X)) + λ Var_Q(g(Y)) の正規分布に収束する。
• 本論文はエントロピック OT を畳み込み測度のエントロピーと結びつけ、X+Gaussianノイズのエントロピーについて √n 収束を持つプラグイン推定量を可能にする。
• シミュレーションは漸近正規性と改善されたサンプル複雑度境界を裏付け、OT を用いたエントロピー推定を実証する。
• エントロピック OT に基づく微分エントロピー推定量が、上記の CLT に基づく保証を達成する。