[論文レビュー] Interpretation of Linear Regression Coefficients under Mean Model Miss-Specification

Werner Brannath, Martin Scharpenberg|arXiv (Cornell University)|Sep 30, 2014

Advanced Statistical Methods and Models参考文献 2被引用数 3

ひとこと要約

本稿では、平均モデルの誤指定下での線形回帰係数の新たな解釈を提案する。これは、Xの分布を変化させたときに期待されるアウトカムYがどの程度変化するかを定量化する、母集団レベルの関連性測度を定義することで達成される。この非線形関連性測度の保守的線形近似を用いることで、真の平均関係が非線形であっても、頑健で解釈可能な回帰係数が得られ、交絡調整やモデル誤指定下での推論に応用可能である。

ABSTRACT

Linear regression is a frequently used tool in statistics, however, its validity and interpretability relies on strong model assumptions. While robust estimates of the coefficients' covariance extend the validity of hypothesis tests and confidence intervals, a clear interpretation of the coefficients is lacking if the mean structure of the model is miss-specified. We therefore suggest a new intuitive and mathematical rigorous interpretation of the coefficients that is independent from specific model assumptions. It relies on a new population based measure of association. The idea is to quantify how much the population mean of the dependent variable Y can be changed by changing the distribution of the independent variable X. Restriction to linear functions for the distributional changes in X provides the link to linear regression. It leads to a conservative approximation of the newly defined and generally non-linear measure of association. The conservative linear approximation can then be estimated by linear regression. We show how this interpretation can be extended to multiple regression and how far and in which sense it leads to an adjustment for confounding. We point to perspectives for new analysis strategies and illustrate the utility and limitations of the new interpretation and strategies by examples and simulations.

研究の動機と目的

• 平均モデルが誤指定されている場合に線形回帰係数に明確な解釈が得られないという問題に対処すること。
• 特定のモデル仮定に依存しない、数学的に厳密な母集団ベースの関連性測度を構築すること。
• Xの分布の変化を用いて、この関連性測度の保守的線形近似を提供すること。
• この枠組みを複数回帰および誤指定モデルにおける交絡調整に拡張すること。
• 真の関係が非線形であっても、標準的な線形回帰を用いて有効な推論と解釈を可能にすること。

提案手法

• Xの分布のずれδ(X)とYとの間の標準化された共分散の最大値として、母集団的関連性測度ι_X(Y)を定義する。
• 線形ずれδ(X) = a(X - E[X])のクラスを用いて、非線形関連性測度の保守的線形近似を得る。
• 得られた係数が弱い正則性仮定のもとで最小二乗回帰係数に対応することを示す。
• 期待二乗損失E[(Y - Xᵀθ)²]の最小化者として母集団パラメータθを導出することで、モデル誤指定下でも一貫性を保証する。
• 真の平均関係が非線形であっても、誤差項Ũ_i = Y_i - X_iᵀθがX_iと無相関であることを確立する。
• 他の共変量を条件付けることで複数回帰に拡張し、部分的関連性測度ι_{X_k|X_{-k}}(Y)を定義する。

実験結果

リサーチクエスチョン

• RQ1 平均モデルが誤指定されている場合に、線形回帰係数に有効で解釈可能な意味づけは可能か？
• RQ2 分布のずれを用いて、XとYの間の一般的でモデルフリーな関連性測度を定義する方法は何か？
• RQ3 非線形関連性測度の線形近似が、どのような意味で保守的で解釈可能なのか？
• RQ4 この枠組みを非線形平均構造が存在する状況での交絡調整にどのように応用できるか？
• RQ5 誤指定モデルにおいて、線形係数がどのような条件下で交絡バイアスを有しないか？

主な発見

• 真の平均関数が非線形であっても、誤指定線形モデルにおける回帰係数θは、期待二乗損失を最小化する母集団パラメータを一貫して推定する。
• 誤差項Ũ_i = Y_i - X_iᵀθは、X_iと無相関であるため、Huber-Whiteのサンドイッチ標準誤差を用いた有効な推論が保証される。
• 提案された関連性測度ι_X(Y)は、Xの分布の単位変化に伴うE[Y]の最大変化を定量化し、因果的解釈に類似した意味を持つ。
• δ(X) = a(X - E[X])によるι_X(Y)の線形近似は、通常最小二乗推定量に一致し、モデル誤指定下でもその使用を正当化する。
• 部分的関連性測度ι_{X_k|X_{-k}}(Y)は、E[X_k|X_{-k}]が他の共変量に対して線形である場合に限り、交絡を有しない。
• シミュレーションおよび実例により、新しい解釈が真の関係が非線形であっても、有効な推論と交絡調整を可能にすることが示された。