[논문 리뷰] PAC-Bayesian bounds for the Gram matrix and least squares regression with a random design

Olivier Catoni|arXiv (Cornell University)|2016. 03. 16.

Random Matrices and Applications참고 문헌 13인용 수 25

한 줄 요약

이 논문은 다항모멘트 가정 하에 뚜렷한 꼬리 분포를 가진 경우에 대해 그램 행렬과 공분산 행렬에 대한 강건한 PAC-베이지안 추정기법을 제안하며, 비점근적 경계를 활용하여 다항모멘트 조건 하에서 안정적인 추정을 달성한다. 일반 최소제곱 추정기의 정확한 수렴 속도를 도출하고, 무거운 꼬리 잡음 하에서 초과 위험을 크게 향상시키는 새로운 강건한 최소제곱 방법을 제안하며, 시뮬레이션을 통해 검증된다.

ABSTRACT

The topics dicussed in this paper take their origin inthe estimation of the Gram matrix of a random vector from a sample made of n independent copies. They comprise the estimation of the covariance matrix and the study of least squares regression with a random design. We propose four types of results, based on non-asymptotic PAC-Bayesian generalization bounds: a new robust estimator of the Gram matrix and of the covariance matrix, new results on the empirical Gram matrix, new robust least squares estimators and new results on the ordinary least squares estimator, including its exact rate of convergence under polynomial moment assumptions.

연구 동기 및 목표

• 약한 다항모멘트 가정 하에서, 특히 무거운 꼬리 분포에 대해 그램 행렬 $ G = \mathbb{E}[XX^\top] $ 의 강건한 추정기 개발
• PAC-베이지안 기법을 사용하여 표본 그램 행렬 $ \overline{G} = \frac{1}{n}\sum_{i=1}^n X_iX_i^\top $ 의 비점근적 일반화 경계 수립
• 무거운 꼬리 잡음 하에서 일반 최소제곱보다 우수한 성능을 보이는 새로운 강건한 최소제곱 추정기 제안
• 다항모멘트 조건 하에서 표본 위험 최소화자 $ \widehat{\theta} $ 의 초과 위험 $ R(\widehat{\theta}) - \inf R(\theta) $ 의 정확한 수렴 속도 유도

제안 방법

• PAC-베이지안 프레임워크를 사용하여 모든 방향 $ \theta \in \mathbb{R}^d $ 에 대해 상대 오차 $ \left| \frac{N(\theta)}{\widehat{N}(\theta)} - 1 \right| $ 의 균일한 경계를 설정하며, 여기서 $ N(\theta) = \theta^\top G \theta $ 이다.
• 제곱 투영의 표본 분산에서 유도된 척도 매개변수 $ \lambda(p) $ 를 사용한 메디안-오브-메인즈 접근을 통해 $ N(\theta) $ 의 강건한 추정기 구축
• 현재 추정치의 동적 업데이트된 고유기저에서 적용되는 분해 항등식 $ G_{i,j} = \frac{1}{4}[N(e_i + e_j) - N(e_i - e_j)] $ 를 통해 그램 행렬 추정
• 알고리즘은 현재 추정치 $ \widehat{G}(k) $ 의 대각화, 고유공간에서의 강건한 $ N(\theta) $ 추정기 적용, 직교 변환을 통한 재조합을 반복적으로 수행하여 그램 추정기 업데이트
• 최소제곱 회귀의 경우, $ (X, -Y) $ 의 강건한 그램 행렬 추정치를 분할하고, 의사역행렬을 사용하여 $ \widehat{\theta} = -\widehat{G}_{1,1}^{-1}\widehat{G}_{1,2} $ 를 풀어 강건한 추정기 $ \widehat{\theta} $ 확보
• 뉴턴 유형 알고리즘이 방정식 $ \sum_{i=1}^n \psi[\lambda(S^{-1}p_i^2 - 1)] = 0 $ 의 해 $ S(p, \lambda) $ 를 계산하여 강건한 이차형식 추정의 안정성 확보

실험 결과

연구 질문

• RQ1 다항모멘트 가정만으로도 비점근적 일반화 경계를 갖는 그램 행렬의 강건한 추정기 구축이 가능한가?
• RQ2 다항모멘트 조건 하에서 일반 최소제곱 추정기의 초과 위험 $ R(\widehat{\theta}) - \inf R(\theta) $ 의 정확한 수렴 속도는 무엇인가?
• RQ3 무거운 꼬리 잡음 하에서 제안된 강건한 최소제곱 추정기와 표본 위험 최소화자 간의 초과 위험 측면에서의 성능 비교는 어떻게 되는가?
• RQ4 PAC-베이지안 도구를 사용하여 모든 $ \theta \in \mathbb{R}^d $ 에 대해 상대 오차 $ \left| \frac{N(\theta)}{\widehat{N}(\theta)} - 1 \right| $ 가 높은 확률로 균일하게 경계될 수 있는가?
• RQ5 반복적 강건한 그램 행렬 추정기법은 다수의 꼬리 분포 설정에서 표본 그램 행렬보다 더 우수한 성능을 보일 수 있는가?

주요 결과

• 제안된 강건한 추정기법은 높은 확률로 $ \left| \frac{N(\theta)}{\widehat{N}(\theta)} - 1 \right| $ 의 균일한 경계를 확보하여 $ G $ 의 영공간 정확한 복원 가능
• 다항모멘트 조건 하에서 일반 최소제곱 추정기의 초과 위험 수렴 속도를 정확히 유도하였으며, 이는 $ \sup_{\|\theta\|_2 \leq 1} \mathbb{E}[\langle\theta,X\rangle^4] \leq \kappa $ 를 조건으로 하며, $ \kappa $ 는 꼬리의 무거움을 제어한다.
• 10%의 $ \mathcal{N}(0, 900) $ 성분에 의한 오염이 있는 시뮬레이션에서, 강건한 추정기법은 표본 위험 최소화자 대비 기대 초과 위험을 1.7에서 1.1 이하로 감소시켰다.
• 무거운 꼬리 분포 하에서 강건한 그램 행렬 추정기법이 표본 그램 행렬 $ \overline{G} $ 보다 더 안정적임을 입증하였으며, 특히 $ \kappa > 3 $ 일 경우 두드러진다.
• 고유분해 및 강건한 $ N(\theta) $ 추정 기반의 반복 알고리즘은 빠른 수렴을 보이며, 계산 효율성 측면에서 단순한 네트워크 기반 방법보다 뛰어난 성능을 보였다.
• 이 방법은 표본 그램 행렬 $ \overline{G} $ 를 분석하기 위한 수학적으로 엄밀한 도구를 제공하며, 다항모멘트 가정 하에서 새로운 일반화 경계를 도출한다.