[論文レビュー] Semi-analytical approximations to statistical moments of sigmoid and softmax mappings of normal variables

Jean Daunizeau|arXiv (Cornell University)|Feb 28, 2017

Statistical Methods and Bayesian Inference被引用数 22

ひとこと要約

本稿では、正規確率変数に適用されたシグモイドおよびソフトマックス変換の統計的モーメントの半アナリティカルな近似を提示する。解析的表現と数値最適化されたパラメータを組み合わせることで、確率的意思決定やクラスタリングを含むモデルにおける正確だが実行不可能な導出の代替手段として、5%未満の誤差で高い精度を達成する。計算効率が高く、実用的である。

ABSTRACT

This note is concerned with accurate and computationally efficient approximations of moments of Gaussian random variables passed through sigmoid or softmax mappings. These approximations are semi-analytical (i.e. they involve the numerical adjustment of parametric forms) and highly accurate (they yield 5% error at most). We also highlight a few niche applications of these approximations, which arise in the context of, e.g., drift-diffusion models of decision making or non-parametric data clustering approaches. We provide these as examples of efficient alternatives to more tedious derivations that would be needed if one was to approach the underlying mathematical issues in a more formal way. We hope that this technical note will be helpful to modellers facing similar mathematical issues, although maybe stemming from different academic prospects.

研究の動機と目的

• 正規分布に従う確率変数に適用されたシグモイドおよびソフトマックス関数の統計的モーメントに対する、正確かつ計算効率の良い近似手法の開発。
• 確率的モデルにおけるガウス変数の非線形変換の正確なモーメント導出の数学的非可解性に対処すること。
• モンテカルロシミュレーションに頼らずにモーメント推定が必要な機械学習および神経科学分野の研究者に実用的なツールを提供すること。
• ドリフト・ディフュージョンモデルにおける意思決定のモデリングや非パラメトリッククラスタリングといった特殊応用分野での有効性を示すこと。
• しばしば複雑で現実的でない、完全に再導出する必要がある形式的導出とは対照的に、技術的に妥当かつ理解しやすい代替手段を提供すること。

提案手法

• シグモイドおよびソフトマックス関数の解析的近似から導出されたパラメトリック形式を用いる。
• 数値最適化を用いて、モンテカルロサンプリングで得た正確なモーメントに一致するようにこれらの形式のパラメータをフィッティングする。
• ガウス分布の既知の性質と、シグモイド／ソフトマックス写像の非線形性を活用する。
• 変換された変数の一次モーメント（平均）および二次モーメント（分散）の近似に焦点を当てる。
• 得られた近似は半アナリティカルである：完全に解析的でもなく、完全に数値的でもないが、精度と速度のバランスを取ったハイブリッド手法である。
• 高精度の数値積分またはシミュレーションによって得た基準値と比較することで、フレームワークの妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 シグモイド変換を施した正規変数の一次および二次モーメントを、高い精度と低い計算コストでどのように近似できるか？
• RQ2 多変量正規変数に対するソフトマックス変換の半アナリティカル近似の性能はいかがなものか？
• RQ3 これらの近似は、正確な方法やシミュレーションベースの手法と比較して、どのような実用的モデリング文脈で顕著な利点を示すか？
• RQ4 これらの近似は、元の正規分布のパラメータに対してどれほど感度を示すか？
• RQ5 ドリフト・ディフュージョンモデルや非パラメトリッククラスタリングアルゴリズムのような複雑なモデルでも、これらの近似は信頼性を持って使用可能か？

主な発見

• 提案された半アナリティカル近似は、広範なパラメータ範囲において最大で5%未満の誤差を達成する。
• モンテカルロサンプリングと比較して、著しい計算上の利点を有しながらも、高い精度を維持する。
• 入力の正規変数の平均および分散が異なる場合にも、近似は頑健である。
• ドリフト・ディフュージョンモデルへの直接的な適用が可能であり、シグモイド変換が意思決定の閾値をモデル化する。
• 非パラメトリッククラスタリング手法においてソフトマックス正規化に依存する場面でも、効率的なモーメント推定を可能にする。
• 数値フィッティング手順により、完全な記号的導出を必要とせずに、パラメトリック形式が真のモーメントに密接に一致する。