[논문 리뷰] Robust descent using smoothed multiplicative noise

Matthew J. Holland|arXiv (Cornell University)|2018. 10. 15.

Gaussian Processes and Bayesian Inference참고 문헌 11인용 수 9

한 줄 요약

이 논문은 관측값에 미리 부드럽게 처리된 곱셈 노이즈를 적용한 후 소프트 트렁케이션된 기울기 좌표를 계산함으로써, 최소한의 계산 오버헤드로 강력한 이론적 보장을 달성하는 새로운 강건한 경사하강법 알고리즘을 제안한다. 이 방법은 반복적 강건화 서브루틴이 없이도, 첨예한 꼬리 분포와 서브-가우시안 분포 모두에서 뛰어난 일반화 성능을 달성한다.

ABSTRACT

To improve the off-sample generalization of classical procedures minimizing the empirical risk under potentially heavy-tailed data, new robust learning algorithms have been proposed in recent years, with generalized median-of-means strategies being particularly salient. These procedures enjoy performance guarantees in the form of sharp risk bounds under weak moment assumptions on the underlying loss, but typically suffer from a large computational overhead and substantial bias when the data happens to be sub-Gaussian, limiting their utility. In this work, we propose a novel robust gradient descent procedure which makes use of a smoothed multiplicative noise applied directly to observations before constructing a sum of soft-truncated gradient coordinates. We show that the procedure has competitive theoretical guarantees, with the major advantage of a simple implementation that does not require an iterative sub-routine for robustification. Empirical tests reinforce the theory, showing more efficient generalization over a much wider class of data distributions.

연구 동기 및 목표

• 첨예한 꼬리 분포 하에서 표준 경험 리스크 최소화(Empirical Risk Minimization, ERM)의 열악한 일반화 성능을 해결하기 위해.
• 서브-가우시안 설정에서 메디안 오브 메지언과 M-추정기와 같은 기존 강건 방법의 높은 계산 비용과 편향 문제를 극복하기 위해.
• 강력한 이론적 보장을 유지하면서도 간단하고 반복적이지 않은 구현이 가능한 강건한 경사하강법 절차를 개발하기 위해.
• 첨예한 꼬리 분포와 경량 꼬리 분포를 포함한 다양한 데이터 분포에 걸쳐 일반화 효율성을 향상시키기 위해.

제안 방법

• 첨예한 손실 하에서 학습을 안정화하기 위해 기울기 계산 이전에 입력 관측값에 직접 부드러운 곱셈 노이즈를 적용한다.
• 노이즈가 가미된 관측값을 바탕으로 소프트 트렁케이션된 기울기 좌표의 합을 구성하여 이상치에 대한 민감도를 감소시킨다.
• 기대 기울기 이탈을 분석적으로 유계화하기 위해 정규분포의 누적분포함수(CDF)와 밀도함수(PDF)에서 유도된 보정 항을 사용한다.
• M-추정기나 메디안 오브 메지언에서 사용하는 고비용 서브루틴을 피하기 위해 반복적이지 않고 폐쇄형 해를 갖는 강건한 기울기 추정치를 계산한다.
• 기울기 이탈에 대한 농도 부등식과 尾部 bound를 사용하여 약한 모멘트 가정 하에서 이론적 리스크 한계를 유도한다.
• 안정성을 확보하기 위해 분산과 차원 수에서 유도된 스케일링 인자를 사용해 기울기 추정치를 정규화한다.

실험 결과

연구 질문

• RQ1 반복 서브루틴을 피하면서도 강력한 이론적 보장을 유지할 수 있는 강건한 경사하강법을 설계할 수 있는가?
• RQ2 제안된 방법은 첨예한 꼬리 분포와 서브-가우시안 분포 모두에서 일반화 오차 측면에서 어떻게 성능을 발휘하는가?
• RQ3 메디안 오브 메지언이나 M-추정기와 같은 기존 강건 학습 알고리즘과 비교해 제안된 방법의 계산 비용은 어떠한가?
• RQ4 부드러운 곱셈 노이즈의 사용이 기존 강건화 기법보다 더 나은 편향-분산 트레이드오프를 이끌어내는가?
• RQ5 강력한 분포 가정 없이도 약한 모멘트 가정 하에서 근사 최적의 리스크 한계를 달성할 수 있는가?

주요 결과

• 약한 모멘트 가정 하에서 제안된 방법은 기존 강건 방법과 경쟁력 있는 리스크 한계를 달성하거나 이를 초월한다.
• 실험 결과, 첨예한 꼬리 분포와 서브-가우시안 케이스를 포함한 다양한 노이즈 분포에서 ERM-GD에 비해 현저히 뛰어난 일반화 성능을 보였다.
• 반복적이지 않고 폐쇄형 해를 사용한 기울기 계산 덕분에 높은 계산 비용을 피하며, 반복적 강건화의 오버헤드를 피할 수 있었다.
• 고차원 설정에서 고정된 $ n/d $ 비율을 유지할 경우, 파레토, 라플라스, 위베ull 분포를 포함한 다양한 노이즈 가족에서 안정적인 성능을 보였다.
• 기대 기울기 이탈에 대한 이론적 상한은 표준 정규분포의 누적분포함수와 밀도함수를 포함한 보정 항을 사용하여 유도되었으며, 정밀한 리스크 제어를 가능하게 했다.
• 표본 크기, 노이즈 수준, 차원의 변화에 관계없이 성능이 안정적이었으며, 첨예한 꼬리 노이즈 하에서의 회귀 과제에서 일관된 오차 감소 효과를 보였다.