[論文レビュー] Maximum L$q$-likelihood estimation

Davide Ferrari, Yuhong Yang|University of Minnesota Digital Conservancy (University of Minnesota)|Feb 24, 2010

Bayesian Methods and Mixture Models参考文献 74被引用数 51

ひとこと要約

本稿では、非拡張エントロピー（ツァリスエントロピー）に基づく新しいパラメトリック推定法、最大Lq尤度推定量（MLqE）を導入する。この手法は、パrameter q を用いてモデルの歪みを補正する。q を最適化することで、小・中規模の標本において、バイアスを増加させることで精度を向上させることで平均二乗誤差を低減するが、q → 1 に近づくと漸近正規性および漸近効率性を維持する。

ABSTRACT

In this paper, the maximum L$q$-likelihood estimator (ML$q$E), a new parameter estimator based on nonextensive entropy [Kibernetika 3 (1967) 30--35] is introduced. The properties of the ML$q$E are studied via asymptotic analysis and computer simulations. The behavior of the ML$q$E is characterized by the degree of distortion $q$ applied to the assumed model. When $q$ is properly chosen for small and moderate sample sizes, the ML$q$E can successfully trade bias for precision, resulting in a substantial reduction of the mean squared error. When the sample size is large and $q$ tends to 1, a necessary and sufficient condition to ensure a proper asymptotic normality and efficiency of ML$q$E is established.

研究の動機と目的

• 非拡張エントロピーに基づく新しい推定量のクラスを構築し、有限標本性能を向上させること。
• 歪みパrameter q がバイアスと分散のトレードオフに果たす役割を調査すること。
• MLqE が漸近正規性および漸近効率性を達成するための条件を確立すること。
• 標準MLEが性能を発揮しない高次元および尾部確率推定の文脈で、MLqEの有効性を示すこと。

提案手法

• Lq関数 Lq(u) = (u^{1−q} − 1)/(1 − q) を用いた最大尤度の一般化として、最大Lq尤度推定量（MLqE）を提案する。
• qエントロピー関数を用いて尤度を変形し、q に応じて極端な観測値を軽減または強調する。
• 漸近的解析を用いて、q → 1 のときのMLqEの漸近正規性および効率性のための条件を導出する。
• 歪んだモデル下でのフィッシャー情報量およびスコア関数を用いて、MLqEの漸近的分散を導出する。
• 有限標本性能を評価し、異なるパラメトリック族における最適なq値を同定するためにシミュレーションを実施する。
• 2次テイラー展開およびスラツキーの補題を用いて、正則性条件の下で漸近正規性を証明する。

実験結果

リサーチクエスチョン

• RQ1 q の選択が有限標本におけるバイアス・バリアンストレードオフにどのように影響するか？
• RQ2 q → 1 のとき、MLqE が漸近正規性および効率性を達成するための条件は何か？
• RQ3 小または中規模の標本サイズにおいて、MLqE はMSEの観点でMLEを上回ることができるか？
• RQ4 q の方向および大きさが、異なるパラメトリック族における推定精度にどのように影響するか？
• RQ5 高次元や尾部確率推定といった状況では、MLqE が顕著な利点を示すのか？

主な発見

• 小・中規模の標本では、MLqE はバイアスのわずかな増加を犠牲にして分散の大幅な低減を実現することで、平均二乗誤差を顕著に低減できる。
• 最適な q はパラメトリック族および注目するパrameter に依存する。歪みの方向（q < 1 または q > 1）はモデルによって異なる。
• q → 1 のとき、MLqE はモデルのスコア関数に関する必要十分条件を満たす限り、漸近正規性および漸近効率性を達成する。
• 多変量正規分布に対して、MLqE の漸近的分散を明示的に導出でき、q および共分散構造に依存することが示された。
• 多変量正規モデルにおいて、Σ に対するMLqEの漸近的分散は (3−2q)^{−p/2} に比例し、交換行列およびG行列変換に依存する。
• 数値結果から、MLEが劣化する高次元および尾部確率推定の文脈において、MLqE が推定精度を顕著に向上させることを確認した。