[論文レビュー] Wave function representation of probability distributions

Madeleine B. Thompson|arXiv (Cornell University)|Dec 21, 2017

Probabilistic and Robust Engineering Design参考文献 10被引用数 3

ひとこと要約

この論文では、連続的な単変量分布の柔軟で低次元的かつ過学習に強いモデル化を可能にするために、直交ヘルメートル基底展開を用いた確率分布の波動関数表現を導入する。密度関数の平方根を表現することで、柔軟で過学習に強く、低次元のモデル化が可能となる。この手法により、ステレオグラフィック射影を用いた効率的な最尤推定（MLE）が可能となり、正確なモーメント計算が可能であり、チューニングなしのフィッティングと比較して裾の挙動が優れている。

ABSTRACT

Orthogonal decomposition of the square root of a probability density function in the Hermite basis is a useful low-dimensional parameterization of continuous probability distributions over the reals. This representation is formally similar to the representation of quantum mechanical states as wave functions, whose squared modulus is a probability density.

研究の動機と目的

• データ分析システムで使用可能な、低次元的で柔軟かつロバストな連続単変量確率分布のパrameterizationを開発すること。
• スケーリング、マルチモーダル、重裾分布をチューニングパラメータなしでモデル化できる一般的で自然かつ計算効率の良い分布族の欠如に対処すること。
• 生産環境のデータ分析プラットフォーム（EDP）で回帰の残差を最小限のカスタマイズで正確にモデル化できること。
• 正確なモーメント計算と効率的なサンプリングを可能にするパrameterizationを提供し、カーネル密度推定の欠点を回避すること。
• 異なる直交基底を用いることで、この表現を条件付きモデルや他の分野へ拡張する可能性を検討すること。

提案手法

• 確率密度関数の平方根を正規直交ヘルメートル関数の線形結合として表現することで、波動関数に類似したパrameterizationを可能にする。
• 最尤推定（MLE）による係数 $ w_k $ の推定に、単位球面上の制約を非制約空間に変換するステレオグラフィック射影を用いる。
• i.i.d.標本からの係数のフィッティングにL-BFGS最適化を適用し、$ \gamma $ の逆ステレオグラフィック射影に基づく対数尤度を表現する。
• ガウス＝ヘルメートル求積法を用いて $ O(K) $ 演算で正確なモーメントを計算し、密度推定の多項式・指数関数的形を活用する。
• 一変量スライスサンプリングを用いて推定密度からサンプリングを行い、効率性向上のためARMS（適応的再帰的メトロポリスサンプリング）への移行を計画する。
• 表現の安定化とサンプリングにおける固定初期スライス幅の実現のため、入力データを平均0、分散1/2に正規化する。

実験結果

リサーチクエスチョン

• RQ1 ヘルメートルに基づく波動関数表現は、任意の連続単変量確率分布に対して、柔軟で低次元的かつ過学習に強いパrameterizationを提供できるか？
• RQ2 この手法は、スケーリング、マルチモーダル、重裾分布（例：スチューデントのt分布、一様分布、ベータ分布）をどれほどよくモデル化できるか？
• RQ3 尾部挙動、計算効率、チューニングパラメータの不在という点で、カーネル密度推定よりも優れているか？
• RQ4 ステレオグラフィック射影を用いることで、単位球面上の制約を扱うにあたり、係数のMLEが効率的かつ安定して計算可能か？
• RQ5 係数が予測子に依存する条件付きモデルへの応用において、この手法は非定常分散回帰に応用可能か、その範囲はどの程度か？

主な発見

• 波動関数表現は、自由度4のスチューデントのt分布、二峰性混合分布、歪度のあるベータ分布（Beta(3,5)）など、広範な分布を最小限の過学習で正確にモデル化できる。
• この手法は、一様分布のような挑戦的な分布に対しても良好なフィットを達成するが、不連続点ではギブス現象が現れ、浮動小数点誤差の制限により最大次数は約20までに制限される。
• MLEによる係数推定は、小さな標本サイズ（例：n=2）でも信頼性高く収束し、実用的にL-BFGS最適化が良好に機能する。
• ガウス＝ヘルメートル求積法を用いることで、$ O(K) $ 演算で正確なモーメントが計算可能であり、高い精度と効率性を実現する。
• 推定密度 $ \hat{f}(x) $ は良好な尾部挙動を示し、効率的なサンプリングが可能である。EDPでは一変量スライスサンプリングを用い、速度向上のためARMSへの移行を計画している。
• この表現はモデルの複雑さに対してロバストである：次数 $ K $ を増加させることで、マルチモーダルおよび不連続密度のフィットが向上するが、収束は数値精度の制限によって制限される。