[論文レビュー] The Lambert Way to Gaussianize heavy tailed data with the inverse of Tukey's h as a special case

Georg M. Goerg|arXiv (Cornell University)|Oct 11, 2010

Plant Water Relations and Carbon Dynamics参考文献 47被引用数 3

ひとこと要約

本稿では、任意の基本分布 F_X から重たい尾を持つデータを生成可能なパラメトリックかつ全単射変換—LambertのW × F_X—を提案する。F_X が正規分布のとき、Tukeyのh分布が特殊ケースとして得られる。この手法により、逆変換可能な変換を用いて重たい尾を持つデータを「正規化」でき、統計的精度を保ちながら標準的な正規分布の推論手法を適用可能となる。本稿では、文献において初めて明示的な累積分布関数（cdf）および確率密度関数（pdf）の式を導出する。

ABSTRACT

I present a parametric, bijective transformation to generate heavy tail versions Y of arbitrary RVs X ~ F. The tail behavior of the so-called 'heavy tail Lambert W x F' RV Y depends on a tail parameter delta >= 0: for delta = 0, Y = X, for delta > 0 Y has heavier tails than X. For X being Gaussian, this meta-family of heavy-tailed distributions reduces to Tukey's h distribution. Lambert's W function provides an explicit inverse transformation, which can be estimated by maximum likelihood. This inverse can remove heavy tails from data, and also provide analytical expressions for the cumulative distribution (cdf) and probability density function (pdf). As a special case, these yield explicit formulas for Tukey's h pdf and cdf - to the author's knowledge for the first time in the literature. Simulations and applications to S&P 500 log-returns and solar flares data demonstrate the usefulness of the introduced methodology. The R package "LambertW" (cran.r-project.org/web/packages/LambertW) implementing the presented methodology is publicly available at CRAN.

研究の動機と目的

• 任意の連続確率変数の重たい尾を持つバージョンを生成する一般的で、パラメトリックかつ全単射的な手法を開発すること。特に、現実のデータにおける正規分布仮定の限界を解決すること。
• 研究者が逆変換可能な変換を用いて重たい尾を持つデータを「正規化」できるフレームワークを提供することにより、標準的な正規分布モデルおよび推論手法の利用を可能とすること。
• Tukeyのh分布の累積分布関数（cdf）および確率密度関数（pdf）に対して、明示的な解析的表現を導出すること。これは、これまで閉形式で得られていなかった結果である。
• ファイナンス（S&P 500のリターン）および太陽フレアデータへの応用を通じて、本手法の実用的有用性を示すこと。重たい尾によって隠れていた構造が明らかになる。
• 本手法の広範な実用化を促進するため、Rパッケージ（LambertW）を公開すること。

提案手法

• 本手法は、変換 H_τ(X) = X * exp(τ * X² / 2) を用い、パrameter τ ≥ 0 が尾の重さを制御する。基になる分布 F_X から重たい尾を持つ確率変数 Y を生成する。
• τ = 0 のとき Y ≡ X であり、τ > 0 のとき Y は X より重たい尾を持つ。LambertのW関数を用いて逆変換 W_τ(Y) が得られ、潜在的な正規分布変数が回復できる。
• 逆変換 W_τ(Y) を用いることで、観測された重たい尾を持つデータを潜在的な正規分布空間に変換でき、標準的な正規分布の推論が適用可能になる。
• 最尤推定（MLE）を用いてパrameter（特に尾のパラメータ τ）を推定する。理論的性質に加え、頑健な代替手法として反復的一般化モーメント法（IGMM）が用いられる。
• 本フレームワークは、Tukeyのh分布を一般化する。F_X が標準正規分布のとき、得られる分布は正確にTukeyのh分布となり、本稿で初めて閉形式でのcdfおよびpdfが導出される。
• 本手法は、CRANで公開されているRパッケージ LambertW として実装されており、推定、変換、モデル比較を支援する。

実験結果

リサーチクエスチョン

• RQ1 任意の連続確率変数に対して、解釈可能性を保ちつつ逆変換が可能な一般的で全単射な変換を開発することは可能か？
• RQ2 LambertのW × F_X フレームワークの逆変換により、現実の重たい尾を持つデータを効果的に「正規化」でき、標準的な正規分布推論がより高い精度で適用可能になるか？
• RQ3 本フレームワークを用いて、Tukeyのh分布のcdfおよびpdfに対して明示的な解析的表現を導出できるか？これは、長年の文献上の空白を解消するものである。
• RQ4 実用的応用（ファイナンスリターンや太陽フレアの回数）において、正規化されたデータに対する推論性能は、重たい尾を持つ分布の直接的モデリングと比較してどうなるか？
• RQ5 データの正規化により、重たい尾によって隠れていた構造的特徴（例：二峰性）が明らかになるか？

主な発見

• LambertのW × F_X フレームワークは、任意の基本分布 F_X から重たい尾を持つデータを生成可能であり、尾の挙動は1つのパrameter δ ≥ 0 で制御され、F_X が正規分布のときにはTukeyのh分布に帰着する。
• 本稿では、逆LambertのW変換を用いて、Tukeyのh分布のcdfおよびpdfに対して、文献において初めて明示的な解析的表現が導出された。これにより、正確な統計的モデリングが可能になる。
• S&P 500リターンの事例研究において、本手法はデータを効果的に「正規化」し、標準的な正規分布MLEを用いた位置およびスケールの推定が正確に行えることが示された。直接的な重たい尾のモデリングと同等の結果が得られた。
• 太陽フレアデータでは、右尾の正規化により、元来重たい尾によって隠れていた二峰性構造が明らかになった。最適なカットオフ値323は、正規化後の値121.16に対応し、二成分正規混合モデルと整合的であった。
• 太陽フレアデータの推定尾パラメータ δ_r = 2.37 は、右尾のみに変換が必要であることを確認した。左尾は概ね正規分布のままであった。
• CRANで公開されているRパッケージ LambertW を用いることで、本手法の実用的実装が可能となり、多様なデータセットにおける推定、変換、モデル比較を支援する。