[논문 리뷰] A sharp multiplier inequality with applications to heavy-tailed regression problems

Qiyang Han, Jon A. Wellner|arXiv (Cornell University)|2017. 06. 07.

Statistical Methods and Inference인용 수 5

한 줄 요약

이 논문은 무거운 尾를 가진 오차(제p차 모멘트, p ≥ 1)를 가진 비모수 회귀에서 최소제곱추정량(LSE)의 날카운 속도를 확립한다. 엔트로피 조건(지수 α ∈ (0,2)) 하에서 수렴 속도가 O_P(n^{-(1/(2+α))} ∨ n^{-(1/2)+(1/(2p))})임을 보이며, 이 속도는 p ≥ 1 + 2/α일 때 가우시안 성능과 일치하지만, p < 1 + 2/α일 땐 강건 추정량보다 느리며, 오차-예측변수 독립성에 의해 결정되는 중요한 조건을 가진다.

ABSTRACT

We study the performance of the Least Squares Estimator (LSE) in a general nonparametric regression model, when the errors are independent of the covariates but may only have a $p$-th moment ($p\geq 1$). In such a heavy-tailed regression setting, we show that if the model satisfies a standard `entropy condition' with exponent $\alpha \in (0,2)$, then the $L_2$ loss of the LSE converges at a rate \begin{align*} \mathcal{O}_{\mathbf{P}}\big(n^{-\frac{1}{2+\alpha}} \vee n^{-\frac{1}{2}+\frac{1}{2p}}\big). \end{align*} Such a rate cannot be improved under the entropy condition alone. This rate quantifies both some positive and negative aspects of the LSE in a heavy-tailed regression setting. On the positive side, as long as the errors have $p\geq 1+2/\alpha$ moments, the $L_2$ loss of the LSE converges at the same rate as if the errors are Gaussian. On the negative side, if $p<1+2/\alpha$, there are (many) hard models at any entropy level $\alpha$ for which the $L_2$ loss of the LSE converges at a strictly slower rate than other robust estimators. The validity of the above rate relies crucially on the independence of the covariates and the errors. In fact, the $L_2$ loss of the LSE can converge arbitrarily slowly when the independence fails. The key technical ingredient is a new multiplier inequality that gives sharp bounds for the `multiplier empirical process' associated with the LSE. We further give an application to the sparse linear regression model with heavy-tailed covariates and errors to demonstrate the scope of this new inequality.

연구 동기 및 목표

• 오차가 서브가우시안 또는 서브지수 尾가 아닌 제p차 모멘트( p ≥ 1)만을 가지는 비모수 회귀에서 최소제곱추정량(LSE)의 성능을 분석하기 위해.
• 표준 엔트로피 조건(지수 α ∈ (0,2)) 하에서 LSE의 L2 손실에 대한 날카운 수렴 속도를 확립하기 위해.
• LSE가 가우시안 오차 하에서의 최적 속도를 달성하는 조건과 강건 추정량에 의해 능가당하는 조건을 명확히 하기 위해.
• 유도된 속도가 오차-예측변수 독립성에 의해 필수적임을 보이며, 이 가정이 실패할 경우 수렴 속도가 임의로 느려질 수 있음을 보여주기 위해.

제안 방법

• LSE와 관련된 승수 경험과정을 경계하기 위한 새로운 날카운 승수 부등식을 유도하여, 중량이 큰 꼬리 하에서 L2 위험을 분석하는 데 핵심적인 기술적 도구를 확보하기 위해.
• 비모수 회귀 모델에서 함수 클래스의 복잡성을 제어하기 위해 지수 α ∈ (0,2)를 가진 엔트로피 조건을 사용하기 위해.
• LSE의 L2 손실을 편향과 분산 성분으로 분해하여 분석하고, 분산 항은 새로운 승수 부등식을 통해 제어하기 위해.
• 엔트로피 조건만으로도 유도된 속도를 향상시킬 수 없음을 보여주기 위해 최소최대 하한을 확립하기 위해.
• 중요한 부등식을 중량이 큰 꼬리 오차와 예측변수를 가진 희소 선형 회귀 모델에 적용하여 그 실용적 범위와 강건성을 보여주기 위해.

실험 결과

연구 질문

• RQ1 무거운 꼬리 회귀 설정에서 LSE가 가우시안 오차 하에서와 동일한 수렴 속도를 달성하는 조건은 무엇인가?
• RQ2 오차 분포의 모멘트 수 p가 LSE의 수렴 속도에 강건 추정량 대비 영향을 미치는 방식은 어떻게 되는가?
• RQ3 지수 α를 가진 엔트로피 조건이 LSE의 L2 위험 속도에 어떤 역할을 하는가?
• RQ4 LSE의 수렴 속도는 오차와 예측변수 간 독립성 가정에 얼마나 민감한가?
• RQ5 새로운 승수 부등식은 중량이 큰 꼬리 노이즈를 가진 고차원 또는 희소 회귀 모델에 효과적으로 적용될 수 있는가?

주요 결과

• 엔트로피 조건(지수 α ∈ (0,2)) 하에서 LSE의 L2 손실은 O_P(n^{-(1/(2+α))} ∨ n^{-(1/2)+(1/(2p))}) 속도로 수렴하며, 이는 날카롭고 이 조건만으로는 향상될 수 없다.
• p ≥ 1 + 2/α일 경우, LSE는 가우시안 오차 하에서와 동일한 수렴 속도를 달성하여 이 영역에서 꼬리의 무거움에 대해 강건함을 나타낸다.
• p < 1 + 2/α일 경우, 임의의 엔트로피 수준 α에서 LSE가 강건 추정량보다 엄격히 더 느리게 수렴하는 모델이 존재하므로, 근본적인 한계를 드러낸다.
• 오차와 예측변수 간 독립성이 실패할 경우 유도된 속도가 무효가 되며, 이 경우 L2 손실은 임의로 느리게 수렴할 수 있다.
• 새로운 승수 부등식은 중량이 큰 꼬리 설정에서 LSE를 분석하는 데 강력한 도구를 제공하며, 중량이 큰 꼬리 오차와 예측변수를 가진 희소 선형 회귀 모델에 성공적으로 적용되었다.