[논문 리뷰] Interpretation of Linear Regression Coefficients under Mean Model Miss-Specification

Werner Brannath, Martin Scharpenberg|arXiv (Cornell University)|2014. 09. 30.

Advanced Statistical Methods and Models참고 문헌 2인용 수 3

한 줄 요약

이 논문은 평균 모형의 잘못된 특정화 상황에서 선형 회귀 계수의 새로운 해석을 제안한다. 이를 위해 분포 수준의 상관관계 측도를 정의하여, X의 분포가 변화할 때 기대값 Y가 얼마나 변하는지를 정량화한다. 이 방법은 비선형 상관관계 측도의 보수적인 선형 근사화를 사용하여, 진정한 평균 관계가 비선형인 경우에도 강인하고 해석 가능한 회귀 계수를 가능하게 하며, 교란 요인 조정 및 모형 잘못 특정화 하에서의 추론에 적용된다.

ABSTRACT

Linear regression is a frequently used tool in statistics, however, its validity and interpretability relies on strong model assumptions. While robust estimates of the coefficients' covariance extend the validity of hypothesis tests and confidence intervals, a clear interpretation of the coefficients is lacking if the mean structure of the model is miss-specified. We therefore suggest a new intuitive and mathematical rigorous interpretation of the coefficients that is independent from specific model assumptions. It relies on a new population based measure of association. The idea is to quantify how much the population mean of the dependent variable Y can be changed by changing the distribution of the independent variable X. Restriction to linear functions for the distributional changes in X provides the link to linear regression. It leads to a conservative approximation of the newly defined and generally non-linear measure of association. The conservative linear approximation can then be estimated by linear regression. We show how this interpretation can be extended to multiple regression and how far and in which sense it leads to an adjustment for confounding. We point to perspectives for new analysis strategies and illustrate the utility and limitations of the new interpretation and strategies by examples and simulations.

연구 동기 및 목표

• 모형의 평균 구조가 잘못 특정화된 경우 선형 회귀 계수에 대한 명확한 해석이 부족한 문제를 해결하기 위해.
• 특정 모형 가정에 종속되지 않은 수학적으로 엄밀한 인구 기반 상관관계 측도를 개발하기 위해.
• X의 분포 변화를 이용하여 이 상관관계 측도의 보수적인 선형 근사화를 제공하기 위해.
• 다중 회귀 및 잘못 특정화된 모형에서의 교란 요인 조정에 이 해석을 확장하기 위해.
• 진정한 관계가 비선형인 경우에도 표준 선형 회귀를 사용하여 타당한 추론과 해석을 가능하게 하기 위해.

제안 방법

• X의 분포 변화 δ(X)와 Y 사이의 최대 표준화된 공분산으로서, 인구 수준의 상관관계 측도 ι_X(Y)를 정의한다.
• 선형 이동 δ(X) = a(X - E[X])의 클래스를 사용하여 비선형 상관관계 측도의 보수적인 선형 근사화를 확보한다.
• 이로 인해 유도된 계수는 약한 정규성 가정 하에서 최소 제곱 회귀 계수와 일치함을 보여준다.
• 기대 제곱 오차 E[(Y - Xᵀθ)²]의 최소화자로서 인구 모수 θ를 유도하여, 모형 잘못 특정화 하에서도 일致성을 확보한다.
• 진정한 평균 관계가 비선형인 경우에도 오차 항 Ũ_i = Y_i - X_iᵀθ가 X_i와 상관관계가 없음을 입증한다.
• 기타 공변량을 조건으로 하여 다중 회귀로 프레임워크를 확장하고, 부분 상관관계 측도 ι_{X_k|X_{-k}}(Y)를 정의한다.

실험 결과

연구 질문

• RQ1 모형의 평균 구조가 잘못 특정화된 경우 선형 회귀 계수에 대한 타당하고 해석 가능한 해석은 무엇인가?
• RQ2 분포 변화를 이용하여 X와 Y 사이의 일반적이고 모형에 종속되지 않는 상관관계 측도를 어떻게 정의할 수 있는가?
• RQ3 비선형 상관관계 측도의 선형 근사화가 보수적이고 해석 가능한 이유는 무엇인가?
• RQ4 이 프레임워크를 비선형 평균 구조가 존재하는 상황에서 교란 요인 조정에 어떻게 활용할 수 있는가?
• RQ5 잘못 특정화된 모형에서 선형 계수가 교란 요인 편향이 없는 조건은 무엇인가?

주요 결과

• 모형이 잘못 특정화된 선형 모형에서 회귀 계수 θ는 진정한 평균 함수가 비선형인 경우에도 기대 제곱 오차를 최소화하는 인구 모수를 일致적으로 추정한다.
• 오차 항 Ũ_i = Y_i - X_iᵀθ는 X_i와 상관관계가 없으며, 이는 Huber-White 샌드위치 표준 오차를 통한 타당한 추론을 보장한다.
• 제안된 상관관계 측도 ι_X(Y)는 X의 분포가 단위 변화할 때 E[Y]가 최대 얼마나 변화하는지를 정량화하여 원인 유사 해석을 가능하게 한다.
• δ(X) = a(X - E[X])를 통한 ι_X(Y)의 선형 근사화는 일반 최소 제곱 계수를 도출하며, 이는 모형 잘못 특정화 하에서도 그 사용을 정당화한다.
• 부분 상관관계 측도 ι_{X_k|X_{-k}}(Y)는 E[X_k|X_{-k}]가 다른 공변량에 대해 선형인 경우에만 교란 요인 없이 자유롭다.
• 시뮬레이션과 사례 연구를 통해 새로운 해석은 진정한 관계가 비선형인 경우에도 타당한 추론과 교란 요인 조정을 가능하게 한다.