[논문 리뷰] A note on the approximate admissibility of regularized estimators in the Gaussian sequence model

Xi Chen, Adityanand Guntuboyina외 1명|arXiv (Cornell University)|2017. 03. 01.

Statistical Methods and Inference참고 문헌 6인용 수 5

한 줄 요약

이 논문은 가우시안 시퀀스 모델에서 제약 조건이 있는 최소 제곱 추정량의 근사 적합성에 관한 찬타지(2014)의 결과를 볼록 페널티 추정량으로 확장하며, 모든 이러한 추정량이 차원과 제약 집합에 관계없이 차원에 독립적인 유일한 상수를 가진 근사 적합성임을 증명한다. 저자들은 원래 증명을 단순화하고 근사 적합성의 배경이 되는 유일한 상수에 대한 명시적 상한과 하한을 제공한다.

ABSTRACT

We study the problem of estimating an unknown vector $θ$ from an observation $X$ drawn according to the normal distribution with mean $θ$ and identity covariance matrix under the knowledge that $θ$ belongs to a known closed convex set $Θ$. In this general setting, Chatterjee (2014) proved that the natural constrained least squares estimator is "approximately admissible" for every $Θ$. We extend this result by proving that the same property holds for all convex penalized estimators as well. Moreover, we simplify and shorten the original proof considerably. We also provide explicit upper and lower bounds for the universal constant underlying the notion of approximate admissibility.

연구 동기 및 목표

• 가우시안 시퀀스 모델에서 제약 조건이 있는 최소 제곱 추정량에 대한 찬타지(2014)의 근사 적합성 결과를 볼록 페널티 추정량으로 확장한다.
• 제약 조건이 있는 최소 제곱 추정량에 대한 근사 적합성 증명을 현저히 단순화하고 직관적으로 만들기 위해 개선한다.
• C-적합성 개념에서 유일한 상수 C에 대한 명시적 상한과 하한을 제공한다.
• 실제로 널리 사용되는 페널티 추정량이 제약 조건이 있는 최소 제곱 추정량과 동일한 강건한 최적성 성질을 상속함을 입증한다.

제안 방법

• 폐쇄된 볼록 집합 Θ 위에서 제곱 오차의 합과 볼록 페널티 함수의 합을 최소화하는 것으로 페널티 추정량을 정의한다.
• 가우시안 랜덤 변수의 리프시츠 함수에 대한 농도 불등식을 사용하여 추정 오차의 꼬리 확률을 근사한다.
• 기대 제곱 오차와 관련된 함수 Aθ(t)를 도입하고, 그 볼록성의 성질을 활용하여 이격도 수준을 유도한다.
• 측도 전환 기법을 적용하고 E[Aθ(t)] = Gθ(t)라는 사실을 이용하여 기대값과 유일한 상수 C를 연결한다.
• 리프시츠 함수의 서브가우시안 농도를 활용하여 尾확률의 경향을 유도하며, 이로 인해 이격도 확률이 지수적으로 감소함을 보인다.
• 꼬리 확률의 통합을 통해 초과 위험도 (L − tθ)+의 모멘트 수준을 유도하며, 이는 tθ에 대해 균일한 제어를 가능하게 한다.

실험 결과

연구 질문

• RQ1 제약 조건이 있는 최소 제곱 추정량의 근사 적합성 성질이 가우시안 시퀀스 모델에서 볼록 페널티 추정량으로까지 확장되는가?
• RQ2 제약 조건이 있는 최소 제곱 추정량에 대한 근사 적합성 증명이 현저히 단순화되고 직관적으로 개선될 수 있는가?
• RQ3 모든 차원과 볼록 제약 집합에 대해 C-적합성 정의에서 유일한 상수 C에 대한 명시적 상한과 하한은 무엇인가?
• RQ4 진정한 매개변수 θ에 대해 균일한 성격을 띠는 페널티 추정량의 추정 오차에 대한 모멘트 수준을 유도할 수 있는가?
• RQ5 페널티 함수 f의 구조가 유도된 추정량의 적합성 성질에 어떤 영향을 미치는가?

주요 결과

• 모든 형태의 볼록 페널티 추정량 argminα∈Θ(1/2‖X−α‖² + f(α)) 는 차원과 Θ에 관계없이 유일한 상수 C에 의해 근사 적합성이 보장된다.
• 찬타지(2014)의 원본 증명에 비해 현저히 단순화되고 직관적인 증명이 제시되어 기술적 복잡성이 감소하였다.
• 근사 적합성의 배경이 되는 유일한 상수 C에 대한 명시적 상한과 하한이 도출되었으며, 원래의 존재성 결과를 초월하였다.
• 농도 측정을 통한 추정 오차의 꼬리 수준이 확립되었으며, P(‖θ̂ − θ‖₂ ≥ tθ + δ) ≤ 2exp(−δ⁴/(32(tθ + δ)²)) 를 만족한다.
• 초과 위험도 (‖θ̂ − θ‖₂ − tθ)+ 에 대한 모멘트 수준이 도출되었으며, E[(‖θ̂ − θ‖₂ − tθ)+²] ≤ 84 및 E[(‖θ̂ − θ‖₂ − tθ)+] ≤ √84 를 만족하며, θ에 대해 균일하다.
• 결과는 LASSO 유형 및 형태 제약이 있는 추정량을 포함한 페널티 추정량이 모든 볼록 제약 집합에서 근사 적합성의 의미에서 강건하게 최적임을 확인한다.