[논문 리뷰] A Model Free Perspective for Linear Regression: Uniform-in-model Bounds for Post Selection Inference

Arun Kumar Kuchibhotla, Lawrence D. Brown외 3명|arXiv (Cornell University)|2018. 02. 15.

Statistical Methods and Inference참고 문헌 1인용 수 15

한 줄 요약

이 논문은 분포 가정 없이 결정론적 부등식을 사용하여 모형 선택 이후 선형 회귀 추정기의 모형에 관계없이 균일한 경계를 도출한다. 분포 가정 없이 비점점적(error) 및 표현 경계를 제공하며, 많은 변수 부분집합에 대해 유효하여 독립적이고 종속적인 데이터 모두에 대해 유효한 모형 선택 후 추론을 가능하게 한다.

ABSTRACT

For the last two decades, high-dimensional data and methods have proliferated throughout the literature. The classical technique of linear regression, however, has not lost its touch in applications. Most high-dimensional estimation techniques can be seen as variable selection tools which lead to a smaller set of variables where classical linear regression technique applies. In this paper, we prove estimation error and linear representation bounds for the linear regression estimator uniformly over (many) subsets of variables. Based on deterministic inequalities, our results provide good rates when applied to both independent and dependent data. These results are useful in correctly interpreting the linear regression estimator obtained after exploring the data and also in post model-selection inference. All the results are derived under no model assumptions and are non-asymptotic in nature.

연구 동기 및 목표

• 모형 가정에 의존하지 않고 고차원 선형 회귀에서 모형 선택 후 추론 문제를 해결하기 위해.
• 다수의 변수 부분집합에 대해 균일한 비점점적 오차 및 표현 경계를 도출하기 위해.
• 예측 변수가 종속되어 있을 때조차도 데이터 기반 변수 선택 후 신뢰할 수 있는 추론을 가능하게 하기 위해.
• 모수적 또는 점점적 가정 없이 탐색적 데이터 분석 이후 선형 회귀 추정치를 해석할 수 있는 프레임워크를 제공하기 위해.

제안 방법

• 변수 부분집합 전역에서 추정 오차 및 선형 표현에 대한 경계를 결정론적 부등식을 사용해 도출한다.
• 표본 크기와 관계없이 유효성을 보장하기 위해 비점점적 분석을 적용한다.
• 오차 또는 설계 행렬의 분포 가정 없이도 유효한 모형에 의존하지 않는 경계를 도출한다.
• 변수 부분집합에 대한 균일한 제어를 통해 독립적이고 종속적인 데이터 구조를 모두 처리한다.
• 모든 데이터 기반 모형 선택 절차 이후에도 유효한 경계를 구성한다.
• 다양한 모형 클래스에 걸쳐 균일 수렴 원리를 활용하여 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 어떻게 특정 모형을 가정하지 않고 모형 선택 후 선형 회귀 추정기의 균일한 비점점적 경계를 확보할 수 있는가?
• RQ2 모형이 데이터 기반으로 선택될 경우, 추정기의 오차 및 표현 경계는 무엇이며, 이는 부분집합 전역에서 어떻게 균일하게 유지되는가?
• RQ3 오차 또는 설계에 대한 분포 가정 없이도 유효한 모형 선택 후 추론을 달성할 수 있는가?
• RQ4 예측 변수나 오차에 종속성이 존재할 경우 경계는 어떻게 행동하는가?
• RQ5 최소한의 가정 하에 모형 선택 이후 추정 오차의 수렴 속도는 어떻게 되는가?

주요 결과

• 논문은 다수의 변수 부분집합에 대해 균일한 비점점적, 모형에 의존하지 않는 추정 오차 및 선형 표현 경계를 확립한다.
• 이 경계는 독립적이고 종속적인 데이터 모두에 대해 유효하여 광범위하게 적용 가능하다.
• 모든 결과는 확률적 또는 점점적 근사에 의존하지 않고 결정론적 부등식에서 유도된다.
• 이 프레임워크는 오차 또는 설계에 대한 분포 가정 없이도 정확한 모형 선택 후 추론을 가능하게 한다.
• 경계는 실제 응용에서 데이터 탐색 이후 회귀 추정치를 해석하는 데 충분히 날카롭게 유지된다.
• 데이터 기반 변수 선택 절차를 통해 모형이 선택된 경우에도 신뢰할 수 있는 추론을 가능하게 한다.