[論文レビュー] Convergence Rates for Gaussian Mixtures of Experts

Nhat Ho, Chiao-Yu Yang+1 more|arXiv (Cornell University)|Jul 9, 2019

Bayesian Methods and Mixture Models参考文献 30被引用数 13

ひとこと要約

本稿は、誘導変数なしのゲーティングネットワークを備えた過剰仕様化されたガウス混合のエキスパートモデルにおける最尤推定（MLE）の収束速度を確立する。著者らは、エキスパート関数の代数的独立性の新しい概念を導入し、最適輸送を介して偏微分方程式（PDE）と結びつけることで、パrameter推定の非漸近的収束速度を導出する。これは、広く使われているが理論的裏付けが乏しいモデルクラスの理論的基盤を提供する。

ABSTRACT

We provide a theoretical treatment of over-specified Gaussian mixtures of experts with covariate-free gating networks. We establish the convergence rates of the maximum likelihood estimation (MLE) for these models. Our proof technique is based on a novel notion of \emph{algebraic independence} of the expert functions. Drawing on optimal transport theory, we establish a connection between the algebraic independence and a certain class of partial differential equations (PDEs). Exploiting this connection allows us to derive convergence rates and minimax lower bounds for parameter estimation.

研究の動機と目的

• 過剰仕様化されたガウス混合のエキスパートモデルにおけるパrameter推定の収束速度の理論的分析を提供すること。
• 混合エキスパートモデルにおける複雑なパrameter相互作用と非一様な収束速度の課題に対処すること。
• エキスパート関数の代数的独立性をPDEおよび最適輸送と結びつける新しい理論的枠組みを構築すること。
• 混合エキスパートモデルの簡略化されたが代表的な設定におけるMLEの非漸近的収束速度を確立すること。
• 誘導変数に依存するゲーティングを持つ完全な混合エキスパートモデルへのこれらの技術の拡張に基盤を築くこと。

提案手法

• パrameter空間の構造を特徴付けるために、エキスパート関数の代数的独立性の新しい概念を導入する。
• 最適輸送理論を介して、代数的独立性とある種の偏微分方程式（PDE）のクラスとの関係を確立する。
• PDEとの関係を用いて、モデル空間の被覆エントロピーおよびブレケットエントロピーの上限を導出する。
• これらのエントロピー上限を用いて、パrameter空間の複雑さを制御し、MLEの収束速度を導出する。
• スープノルムおよびL1ノルムの議論を用いて、真の密度と推定密度との距離を上限づけ、エキスパート関数の滑らかさを活用する。
• エンVELOPEを用いたネット構築によりブレケットエントロピーを制御し、εに関する対数的上限に至る。

実験結果

リサーチクエスチョン

• RQ1 誘導変数なしのゲーティングネットワークを備えた過剰仕様化されたガウス混合のエキスパートモデルにおける最尤推定の収束速度は何か？
• RQ2 エキスパート関数の代数的独立性は、モデルの統計的挙動とどのように関係するか？
• RQ3 最適輸送理論を用いて、パrameter空間の幾何的性質をPDEおよび統計的収束に結びつけることができるか？
• RQ4 パrameter空間の特異構造が収束速度に果たす役割は何か？
• RQ5 誘導変数に依存するエキスパートを備えた非i.i.d.混合モデルにおいて、被覆エントロピーおよびブレケットエントロピーをどのように制御できるか？

主な発見

• 本稿は、誘導変数なしのゲーティングネットワークを備えた過剰仕様化されたガウス混合のエキスパートモデルにおけるパrameter推定の収束速度として $ n^{-1/4} $ を確立する。
• 収束速度は、代数的独立性を最適輸送を介してある種のPDEのクラスと結びつけることで導出され、新たな理論的アプローチを可能にする。
• モデル空間の被覆数は、$ u $ を被覆半径として、$ c_1 c_2 ig( rac{5}{ u} ig)^k ig( rac{1}{ u} ig)^{(q_1+q_2)k} $ で上限づけられる。
• ブレケットエントロピーは $ H_B( u, u) riangleq ext{bracketing entropy} riangleq ext{log}(1/ u) $ で制御され、対数的上限に至る。
• 解析により、モデルの特異構造のため、収束速度がパrameterごとに非一様であることが示された。
• 結果は、実務で広く使われているが、厳密な統計的保証が欠如している過剰仕様化モデルの理論的基盤を提供する。