[論文レビュー] The Tangent Exponential Model

A. C. Davison, Nancy Reid|arXiv (Cornell University)|Jun 19, 2021

Statistical Methods and Bayesian Inference被引用数 4

ひとこと要約

Tangent Exponential Model (TEM) は、局所的場所モデルと鞍点技術を活用することで、頻度的およびベイズ的近似を改善する高次尤度推論フレームワークを提案する。このモデルは、補助統計から導かれる方向ベクトルを用いて一意で連続なピボタル分布を構築し、n⁻¹ の誤差までに高い精度のp値および事後分布近似を達成する。理論的導出と実証的一致性によって検証されている。

ABSTRACT

The likelihood function is central to both frequentist and Bayesian formulations of parametric statistical inference, and large-sample approximations to the sampling distributions of estimators and test statistics, and to posterior densities, are widely used in practice. Improved approximations have been widely studied and can provide highly accurate inferences when samples are small or there are many nuisance parameters. This article reviews improved approximations based on the tangent exponential model developed in a series of articles by D.~A.~S.~Fraser and co-workers, attempting to explain the theoretical basis of this model and to provide a guide to the associated literature, including a partially-annotated bibliography.

研究の動機と目的

• 小標本および多くのネイジスパrameterを伴う状況での尤度に基づく推論における精度を向上させる理論的根拠に基づく高次近似手法の開発。
• 有意性関数と事後生存関数を O(n⁻¹) まで一致させるピボタル量を構築することで、頻度的推論とベイズ的推論を統合すること。
• パラメトリックモデルにおける次元削減のための一貫したフレームワークを、接続指数モデルを用いて提供し、再パラメータ化に対して連続性と不変性を保証すること。
• TEM の理論的基盤を体系的なレビューと注釈付き参考文献リストを通じて明確化し、元の文献における曖昧さを解消すること。
• 漸近展開と既存手法（ラプラス近似や鞍点近似）との照合による検証を通じて、TEM の妥当性と頑健性を示すこと。

提案手法

• 尤度関数のスコア関数と密度比に基づく変換を用いて、観測データの周囲に局所的場所モデルを構築し、パrameter空間における局所的線形性を確保する。
• 補助統計から導かれる方向ベクトル V を用いて、補助多様体への接平面を定義し、推論のための十分な方向を特定する。
• 接続指数モデルは、接平面に沿った積分を鞍点近似を用いて行い、目的パラメータの標本分布を近似することで、精緻化されたp値関数を導出する。
• ピボタル量 r* は、有意性関数の高次近似として導出され、データに依存する事前分布のもとで事後生存関数と一致するようにキャリブレーションされる。
• この構築には、接平面と同じ方向ベクトルを持つ2次補助統計の存在が不可欠であり、高次元設定下でも安定性と一貫性を保証する。
• 条件性、十分性、不変性の原則を統合し、漸近展開と連続性仮定に基づく理論的裏付けが与えられる。

Figure 1: Inference for gamma example. Significance functions ${\rm Pr}(s\leq s^{\mathrm{o}}\mid a;\theta)$ (left) and log likelihoods (right) for $a=3$ (solid) and $a=6$ (dots). The horizontal lines in the left-hand panel are at 0.025, 0.5 and 0.975; the intersections of the highest and lowest of t

実験結果

リサーチクエスチョン

• RQ1 ネイジスパラメータの下でも不変性と精度を保つ高次尤度近似は、どのように構築可能か？
• RQ2 接続指数モデルにおけるピボタル量 r* の一意性の理論的根拠は何か？
• RQ3 接続指数モデルは、頻度的有意性関数とベイズ的事後分布をどのように統合するか？
• RQ4 局所的場所モデルの構築が、一般パラメトリックモデルにおける近似の連続性と妥当性をどのように保証するか？
• RQ5 方向ベクトル V は補助表面への接平面を定義する上で果たす役割は何か？ また、スコア関数からどのように導出されるか？

主な発見

• 接続指数モデルは、p値関数と事後生存関数を O(n⁻¹) の誤差まで一致させるピボタル分布 r* を生成し、正確なベイズ的・頻度的推論の統合を可能にする。
• 局所的場所モデルから導かれる方向ベクトル V は、補助多様体への一意な接平面を定義し、この方法の不変性と一貫性を保証する。
• p値近似において O(n⁻¹) の精度を達成し、指数型分布族に限らない多様なモデルにおいて理論的および実証的に検証されている。
• 接平面における鞍点近似を用いて r* を構築することで、繰り返しサンプリング下でも滑らかでキャリブレーションされた有意性関数が得られる。
• 接平面と同じ方向ベクトルを持つ2次補助統計の存在は、近似の安定性と漸近的妥当性を裏付ける。
• データに依存する事前分布を導出することで、事前分布の選択に関する曖昧さを解消し、有意性関数と事後関数が O(n⁻¹) まで一致することを保証する。

Figure 2: Conditional inference for gamma example. Left: joint density $f(y;\theta)$ with $\theta=1$ , $y^{\mathrm{o}}=(4.8,1.875)$ , giving $a^{\mathrm{o}}=3$ and $s^{\mathrm{o}}=1.6$ . The yellow filled circle shows $y^{\mathrm{o}}$ and the red filled circle shows $f(y^{\mathrm{o}};\theta)$ . The