[논문 리뷰] Exponential weights in multivariate regression and a low-rankness favoring prior

Arnak S. Dalalyan|arXiv (Cornell University)|2018. 06. 25.

Statistical Methods and Inference참고 문헌 27인용 수 12

한 줄 요약

이 논문은 고정 설계와 유한한 노이즈를 가진 다변량 회귀에서 지수 가중치에 대한 날카운 Oracle 부등식을 정립하며, 노이즈 분포의 대칭성만으로도 독립성을 가정하지 않고 최적의 리스크 경계를 확보함을 보여준다. 대칭성과 유한한 지지집합을 가진 일반적인 노이즈 분포 하에서 날카운 경계를 확보할 수 있도록 노이즈가 첨가된 지수 가중 평균을 도입하였고, 스펙트럼 스케일링된 스튜던트 분포를 사용한 저질서 행렬 추정에 이 프레임워크를 적용하여 약한 조건 하에서도 최적의 최대리스크율을 달성하였다.

ABSTRACT

We establish theoretical guarantees for the expected prediction error of the exponential weighting aggregate in the case of multivariate regression that is when the label vector is multidimensional. We consider the regression model with fixed design and bounded noise. The first new feature uncovered by our guarantees is that it is not necessary to require independence of the observations: a symmetry condition on the noise distribution alone suffices to get a sharp risk bound. This result needs the regression vectors to be bounded. A second curious finding concerns the case of unbounded regression vectors but independent noise. It turns out that applying exponential weights to the label vectors perturbed by a uniform noise leads to an estimator satisfying a sharp oracle inequality. The last contribution is the instantiation of the proposed oracle inequalities to problems in which the unknown parameter is a matrix. We propose a low-rankness favoring prior and show that it leads to an estimator that is optimal under weak assumptions.

연구 동기 및 목표

• 지수 가중치의 이론적 보장을 다차원 레이블을 가진 다변량 회귀로 확장하기 위해.
• 노이즈 분포에 대한 최소한의 가정 하에서 날카운 오라클 부등식을 수립하여, 특히 독립성을 요구하지 않는 조건을 완화하기 위해.
• 대칭성과 유한한 지지집합을 가진 노이즈 분포 하에서도 날카운 리스크 경계를 유지하는 강력한 집합 조합 절차를 개발하기 위해.
• 이론적 결과를 저질서 행렬 추정에 적용하여, 새로운 사전분포를 통해 저질서 해를 선호하기 위해.
• 약한 정규성 조건 하에서 최소최대 기준으로 최적의 성능을 보이는 추정기의 최적성을 입증하기 위해.

제안 방법

• 데이터 벡터에 균일한 노이즈를 첨가한 후 지수 가중치를 적용함으로써 노이즈가 첨가된 지수 가중 평균을 제안하여 대칭성과 유한한 노이즈 분포 하에서의 강건성을 향상시켰다.
• 노이즈 분포의 대칭성 조건 하에서 날카운 PAC-베이지안 오라클 부등식을 유도하였으며, 표본이 독립일 경우 나머지 항은 $\|\boldsymbol{\Sigma}\|/n$ 의 비율로 증가한다.
• 저질서 해를 선호하는 스펙트럼 스케일링된 스튜던트 사전분포를 도입하여 행렬 추정에 활용하고 최적의 최대리스크율 달성 가능성을 보였다.
• 스타인의 보조정리와 수정된 집합 조합 절차를 사용하여 이전 연구에서 대칭성과 유한한 지지집합을 가진 분포에 대한 결함을 보완하였다.
• 트레이스 회귀와 저질서 행렬 복원에 이 프레임워크를 적용하여, 결과 추정기가 최대리스크 최적율을 달성함을 보였다.
• 구현을 위해 랭그비안 몬테카를로 알고리즘을 사용하고 디지털 영상 노이즈 제거 실험에서 검증하였다.

실험 결과

연구 질문

• RQ1 지수 가중치가 노이즈 성분의 독립성을 가정하지 않고도 다변량 회귀에서 날카운 오라클 부등식을 달성할 수 있는가?
• RQ2 데이터 벡터에 균일한 노이즈를 첨가함으로써 일반적인 대칭성과 유한한 지지집합을 가진 노이즈 분포 하에서 날카운 리스크 경계를 확보할 수 있는가?
• RQ3 제안된 프레임워크는 최적의 최대리스크율을 달성하는 저질서 행렬 추정으로 확장될 수 있는가?
• RQ4 약한 가정 하에서 트레이스 회귀에서 최적의 성능을 내는 행렬에 대한 어떤 사전분포가 존재하는가?
• RQ5 노이즈 공분산 행렬의 스펙트럼 노름이 오라클 부등식의 나머지 항에 어떤 영향을 미치는가?

주요 결과

• 노이즈 분포의 대칭성 조건 하에서 날카운 오라클 부등식이 성립하며, 나머지 항은 $K/n$ 의 순서를 가지며, 이는 i.i.d. 경우에 최적이 된다.
• 표본이 독립일 경우 나머지 항은 $\|\boldsymbol{\Sigma}\|/n$ 의 비율로 증가하며, 여기서 $\|\boldsymbol{\Sigma}\|$ 는 노이즈 공분산 행렬의 스펙트럼 노름이다.
• 노이즈가 첨가된 지수 가중 평균은 대칭성과 유한한 지지집합을 가진 모든 노이즈 분포에 대해 날카운 리스크 경계를 달성하며, 이는 이전 연구의 결함을 수정한다.
• 스펙트럼 스케일링된 스튜던트 사전분포는 약한 가정 하에서도 저질서 행렬 추정에서 최대리스크 최적율을 달성하는 추정기를 이끌어낸다.
• 결과 추정기는 랭그비안 몬테카를로를 통해 구현 가능하며 영상 노이즈 제거 실험에서 유망한 성능을 보였다.
• 이론적 프레임워크는 이전의 지수 가중치 연구를 다변량 및 저질서 설정으로 일반화하고 최소한의 분포 가정 하에서 확장한다.