[논문 리뷰] Pac-bayesian bounds for sparse regression estimation with exponential weights

Pierre Alquier, Karim Lounici|2010. 09. 14.

Statistical Methods and Inference인용 수 5

한 줄 요약

이 논문은 $ p > n $ 인 고차원 희소 회귀 문제에 대해 새로운 지수 가중 추정기(exponential weights estimator)를 제안하며, PAC-Bayesian 부등식을 활용하여 통계적 성능을 향상시킨다. 연구는 진짜 초과 위험(true excess risk)에 대해 확률적 상황에서의 희소성 오라클 부등식(sparse oracle inequality)을 수립하여, 약한 설계 가정 하에 거의 오라클 성능을 달성함을 보이며, 예측 위험의 명시적 상한을 $ p_0 $ (희소성 수준)와 표본 크기 $ n $ 에 따라 유리하게 스케일링함을 보여준다.

ABSTRACT

We consider the sparse regression model where the number of parameters $p$ is larger than the sample size $n$. The difficulty when considering high-dimensional problems is to propose estimators achieving a good compromise between statistical and computational performances. The BIC estimator for instance performs well from the statistical point of view \cite{BTW07} but can only be computed for values of $p$ of at most a few tens. The Lasso estimator is solution of a convex minimization problem, hence computable for large value of $p$. However stringent conditions on the design are required to establish fast rates of convergence for this estimator. Dalalyan and Tsybakov \cite{arnak} propose a method achieving a good compromise between the statistical and computational aspects of the problem. Their estimator can be computed for reasonably large $p$ and satisfies nice statistical properties under weak assumptions on the design. However, \cite{arnak} proposes sparsity oracle inequalities in expectation for the empirical excess risk only. In this paper, we propose an aggregation procedure similar to that of \cite{arnak} but with improved statistical performances. Our main theoretical result is a sparsity oracle inequality in probability for the true excess risk for a version of exponential weight estimator. We also propose a MCMC method to compute our estimator for reasonably large values of $p$.

연구 동기 및 목표

• 모수의 수 $ p $ 가 표본 크기 $ n $ 을 초과하는 고차원 회귀 문제에 도전하며, 이 경우 기존의 Lasso와 같은 전통적 추정기들이 한계를 보인다.
• 기존 방법들이 겪는 계산 비용과 통계적 성능의 상충 문제를 해결하기 위해, 계산 가능성을 유지하면서도 강력한 이론적 성능을 달성하는 지수 가중 추정기를 제안한다.
• 진짜 초과 위험에 대해 확률적 상황에서의 희소성 오라클 부등식을 수립하여, 이전 연구들이 기대값 기반 상한만 제공한 데 비해 향상된 결과를 도출한다.
• 진짜 희소 지지 집합을 알고 있는 오라클 추정기의 예측 성능에 가까운 성능을 달성할 수 있도록 보장하는 이론적 프레임워크를 제공한다.
• 설계 행렬에 대해 엄격한 조건이 아닌 약한 가정 하에서 추정기의 성능을 분석하며, Lasso 유형 방법이 필요로 하는 빠른 수렴 속도를 확보하기 위한 제한 조건을 피한다.

제안 방법

• 각 계수 벡터 $ \theta $ 에 대해 지수 가중을 통해 사후 분포를 정의하며, 이때 $ \theta $ 의 가중치는 $ \exp(-\lambda r(\theta)) $ 비례한다. 여기서 $ r(\theta) $ 는 경험적 위험이다.
• PAC-Bayesian 부등식을 적용하여 초과 위험 $ R(\hat{\theta}) - R(\bar{\theta}) $ 에 대해 고확률 상한을 유도한다. 여기서 $ \hat{\theta} $ 는 지수 가중 추정기이고, $ \bar{\theta} $ 는 최적의 매개변수이다.
• 가장자리 수가 $ K+1 $ 이하인 제한된 매개변수 공간 $ \Theta_{K+1} $ 을 도입하여 가설 클래스의 복잡도를 제어한다.
• 집중 불등식과 젠센의 부등식을 조합하여 위험 차이의 모멘트 생성 함수를 제어함으로써 고확률 상한을 확보한다.
• 예측 위험에 대한 상한을 유도하며, 이는 희소성 수준 $ |J(\bar{\theta})| = p_0 $, 표본 크기 $ n $, 그리고 $ p $, $ K $, 신뢰 수준에 대한 로그 항에 의존한다.
• 편향과 분산의 상충을 균형 잡기 위해 정규화 파rameter $ \lambda $ 를 최적화하며, 궁극적으로 최적 수렴 속도를 달성하기 위해 $ \lambda = n/(2\mathcal{C}_1) $ 로 설정한다.

실험 결과

연구 질문

• RQ1 약한 설계 가정 하에서 $ p > n $ 인 고차원 희소 회귀 문제에 대해 지수 가중 추정기가 확률적 상황에서의 희소성 오라클 부등식을 달성할 수 있는가?
• RQ2 고차원 환경에서 제안된 추정기와 Lasso 간의 통계적 성능 및 계산 가능성을 비교할 수 있는가?
• RQ3 지수 가중 프레임워크에서 편향과 분산의 상충을 균형 잡기 위한 최적의 정규화 파arameter $ \lambda $ 는 무엇인가?
• RQ4 PAC-Bayesian 이론이 희소 회귀 추정기의 진짜 초과 위험에 대해 고확률 상한을 효과적으로 유도하는 데 적용될 수 있는가?
• RQ5 예측 위험의 명시적 의존성과 스케일링은 희소성 수준 $ p_0 $, 표본 크기 $ n $, 차원 $ p $ 에 대해 어떻게 되는가?

주요 결과

• 제안된 지수 가중 추정기는 확률적 상황에서 희소성 오라클 부등식을 달성한다: 확률 $ 1 - \varepsilon $ 이상에서, 진짜 초과 위험은 $ R(\bar{\theta}) + \mathcal{O}\left(\frac{p_0 \log(p/n)}{n}\right) $ 로 유계이다. 여기서 $ p_0 $ 는 비영계수의 수이다.
• 표본 수 $ n \to \infty $ 일 때 사라지는 경험적 위험에 기인한 추정 오차를 반영하는 항 $ \frac{3L^2}{n^2} $ 이 포함되어 있다.
• 최종 고확률 상한은 $ \frac{8\mathcal{C}_1}{n} \left( |J(\bar{\theta})| \log(K+1) + |J(\bar{\theta})| \log\left(\frac{enp}{\alpha|J(\bar{\theta})|}\right) + \log\left(\frac{2}{\varepsilon(1 - \alpha)}\right) \right) $ 로 표현되며, $ p_0 $ 와 $ n $ 에 대해 유리한 의존성을 보인다.
• Lasso가 필요로 하는 제한된 고유값 조건과 같은 강력한 설계 행렬 가정 없이도 거의 오라클 성능을 달성한다.
• 분석 결과, 조합 최적화를 피하고 볼록 지수 가중을 기반으로 하므로, 합리적으로 큰 $ p $ 에 대해서도 계산 가능함을 보여준다.
• 최종 상한은 비점근적(non-asymptotic)이며 고확률로 성립하며, 이는 이전의 기대값 기반 결과보다 더 날카로운 유한 표본 보장을 제공한다.