[논문 리뷰] Tuning parameter selection in econometrics

Denis Chetverikov|arXiv (Cornell University)|2024. 05. 05.

Forecasting Techniques and Applications인용 수 18

한 줄 요약

선별적 방법들에 대한 비모수적 및 L1-penalized econometric estimation에서 매개변수 선택 방법들에 대한 고찰로, Mallows, Stein, Lepski, 교차 검증, 페널라이제이션, 집계와 클러스터링, 패널, 일반화 모델로의 확장을 자세히 다룬다.

ABSTRACT

I review some of the main methods for selecting tuning parameters in nonparametric and $\ell_1$-penalized estimation. For the nonparametric estimation, I consider the methods of Mallows, Stein, Lepski, cross-validation, penalization, and aggregation in the context of series estimation. For the $\ell_1$-penalized estimation, I consider the methods based on the theory of self-normalized moderate deviations, bootstrap, Stein's unbiased risk estimation, and cross-validation in the context of Lasso estimation. I explain the intuition behind each of the methods and discuss their comparative advantages. I also give some extensions.

연구 동기 및 목표

• 비모수적 및 고차원 설정에서 매개변수 조정 문제의 주요 내용을 명확히 한다.
• 시퀀스 추정기에 대해 대표적인 방법들(Mallows, Stein, Lepski, 교차 검증, 페널라이제이션, 집계)을 제시하고 비교한다.
• 이론적 보장(오라클 부등식 및 점근적 최적성)을 설명하고 실용적 실행 가능성과 확장을 논의한다.
• clustered/패널 데이터 및 분위수 및 일반화 선형 모델로의 확장점을 강조한다.
• 각 방법이 언제 유리한지, 추정/예측 목표와의 관계를 제시한다.

제안 방법

• 비모수 평균 회귀에서의 시리즈 추정기와 고차원 Lasso 추정에서의 문제 설정을 기술한다.
• Mallows와 Stein의 편향 없는 위험 추정법과 그 조건(예: Stein의 경우 가우시안 오류)을 설명한다.
• 편향-분산 고려를 바탕으로 한 편차-분산 적응 메커니즘을 갖는 Lepski 방법의 포인트별 적응 및 다른 지표로 확장 가능성을 개관한다.
• 검증, V-폴드, Leave-one-out 등 교차 검증의 변형과 그 보편성 및 제한점을 다룬다.
• 오라클 부등식 및 전역 성능 보장을 제공하는 페널라이제이션과 집계 관점을 제시하고, 편향 없는 위험 추정이 구현하기 어려운 경우의 대안을 제시한다.
• 군집/패널 데이터 및 분위수 및 일반화 선형 모델로의 확장을 논의한다.

실험 결과

연구 질문

• RQ1 비모수 시리즈 추정기와 고차원 Lasso 추정에 적용 가능한 주요 매개변수 선택 방법은 무엇인가?
• RQ2 이 방법들이 (거의) 오라클 또는 점근적으로 최적의 성능을 제공하는 정규성 조건은 무엇인가?
• RQ3 다른 방법들이 예측, L2, 균일화, 점별 등 다양한 지표 및 데이터 구조(i.i.d., cluster, 패널)에 대해 얼마나 적용 가능하는가?
• RQ4 이 방법들을 구현하기 위한 실용적 고려사항(타당성, 요구 가정, 계산 이슈)은 무엇인가?

주요 결과

• Mallows와 Stein은 예측 및 L2 지표에서 편향 없는 위험 추정을 제공하여 예측에 대해 점근적으로 최적의 예측기를 도출하며, Mallows의 경우 실용적인 plug-in 형태로 타당하다.
• Stein의 방법은 비선형 추정기에 확장되며 가우시안 오류가 필요하고, 시리즈 추정기 경우 Mallows와 동일한 결과를 내는 경우가 많다.
• Lepski의 방법은 포인트별 적응 및 (균일성 및 L2로의 확장 가능성을 갖춘) 보장을 제공하고, 적응 비용은 민감도 반경과 선택된 알파/베타에 의존한다.
• 교차 검증은 보편적이고 실용적이지만 일부 설정에서(특히 leave-one-out 시나리오) 완전한 효율성을 보장하지는 못한다.
• 페널라이제이션과 집계는 전역 성능 보장을 제공하며 오라클 부등식과 연계될 수 있고, 편향 없는 위험 추정을 구현하기 어려운 경우 대안을 제시한다.
• 또한 이 연구는 군집/패널 데이터 및 분위수 및 일반화 선형 모델로의 확장을 다뤄 적용 범위를 넓힌다.