[논문 리뷰] Sketched Ridge Regression: Optimization Perspective, Statistical Perspective, and Model Averaging

Shusen Wang, Alex Gittens외 1명|arXiv (Cornell University)|2017. 02. 16.

Sparse and Compressive Sensing Techniques참고 문헌 31인용 수 51

한 줄 요약

이 논문은 고전 스케치와 Hessian 스케치가 행렬 리지 회귀(MRR)의 최적화 및 통계에 미치는 영향을 분석하고, 편향-분산 트레이드를 보이고, 모델 평균화가 해결책으로 작용함을 보여준다.

ABSTRACT

We address the statistical and optimization impacts of the classical sketch and Hessian sketch used to approximately solve the Matrix Ridge Regression (MRR) problem. Prior research has quantified the effects of classical sketch on the strictly simpler least squares regression (LSR) problem. We establish that classical sketch has a similar effect upon the optimization properties of MRR as it does on those of LSR: namely, it recovers nearly optimal solutions. By contrast, Hessian sketch does not have this guarantee, instead, the approximation error is governed by a subtle interplay between the "mass" in the responses and the optimal objective value. For both types of approximation, the regularization in the sketched MRR problem results in significantly different statistical properties from those of the sketched LSR problem. In particular, there is a bias-variance trade-off in sketched MRR that is not present in sketched LSR. We provide upper and lower bounds on the bias and variance of sketched MRR, these bounds show that classical sketch significantly increases the variance, while Hessian sketch significantly increases the bias. Empirically, sketched MRR solutions can have risks that are higher by an order-of-magnitude than those of the optimal MRR solutions. We establish theoretically and empirically that model averaging greatly decreases the gap between the risks of the true and sketched solutions to the MRR problem. Thus, in parallel or distributed settings, sketching combined with model averaging is a powerful technique that quickly obtains near-optimal solutions to the MRR problem while greatly mitigating the increased statistical risk incurred by sketching.

연구 동기 및 목표

• 스케칭이 최적 해와 비교하여 행렬 리지 회귀(MRR)의 최적화 품질에 어떤 영향을 주는지 조사한다.
• 다양한 스케칭 방식 하에서 스케칭된 MRR 해의 통계적 편향과 분산을 특성화한다.
• 최적화 및 통계적 맥락 모두에서 스케칭으로 인한 위험 증가를 완화하는 데 있어 모델 평균화의 역할을 고찰한다.
• n >> d일 때 MRR에 대한 보장과 실제 성능 측면에서 고전적 스케치와 Hessian 스케치를 비교한다.

제안 방법

• MRR 문제와 두 가지 스케칭 변형을 정의한다: 고전적 스케치 W^c와 Hessian 스케치 W^h.
• Gaussian, SRHT, leverage-based, uniform, CountSketch 등 여러 스케칭 스킴에 걸쳐 f(W) − f(W*)에 대한 이론적 경계들을 도출한다.
• 노이즈 가정이 있는 고정 설계 모델 Y = XW0 + Xi 하에서 W*, W^c, W^h에 대한 편향-분산 분해를 개발한다.
• 최적화 및 통계적 오차를 줄이기 위해 g개의 스케치된 MRR 해를 평균내어 모델 평균화를 도입한다.
• 모델 평균화가 거의 최적의 리스크를 보장하는 조건을 제시하고 분산/원샷 설정에 대해 논의한다.

실험 결과

연구 질문

• RQ1 고전적 스케치가 최적의 MRR 해에 비해 최적화 목적값에 어떤 영향을 미치는가?
• RQ2 Hessian 스케치가 최적의 MRR 해에 비해 최적화 목적값에 어떤 영향을 미치는가?
• RQ3 다양한 스케칭 방법에서 스케치된 MRR 해의 편향과 분산에 어떤 함의가 있는가?
• RQ4 모델 평균화가 스케치된 MRR 해와 실제 MRR 해의 위험 차이를 줄일 수 있는가, 어떤 조건에서인가?
• RQ5 스케치된 MRR에 대한 최적화 관점과 통계적 관점의 결과 차이는 무엇인가?

주요 결과

• 고전적 스케치는 s = Õ(d/ε)일 때 f(W^c) ≤ (1+ε) f(W*)로 거의 최적의 목적 값을 달성한다.
• Hessian 스케치는 거의 최적의 목적 값을 보장하지 않는다; ||Y||_F^2/n이 f(W*)를 지배하는 경우 f(W^h)가 f(W*)에서 크게 벗어날 수 있다.
• 스케치된 MRR은 스케치된 LSR에는 없는 편향-분산 트레이드를 보인다; 고전적 스케치는 분산을 Θ(n/s)만큼 증가시키고 Hessian 스케치는 편향을 증가시킨다.
• 모델 평균화는 g개의 스케치된 MRR 해에 대해 고전적 스케치의 경우 목표 값 간격과 분산을 줄이고, Hessian 스케치의 경우 편향을 줄인다; 충분한 s일 때 평균화는 거의 최적의 리스크에 근접할 수 있다.
• 경험적으로, 스케치된 MRR 위험은 최적 MRR보다 한 차수 정도 더 커질 수 있으며, 모델 평균화는 중앙집중식과 분산식 설정 모두에서 이 격차를 현저히 줄인다