[논문 리뷰] Excess Risk Bounds for Exponentially Concave Losses

Mehrdad Mahdavi, Rong Jin|arXiv (Cornell University)|2014. 01. 18.

Advanced Bandit Algorithms Research참고 문헌 23인용 수 4

한 줄 요약

이 논문은 배치 및 온라인 설정에서 지수적으로 볼록한 손실 함수를 가진 학습에 대해 $O(d\log n/n)$ 수준의 높은 확률 excess risk 한계를 수립한다. 이는 배치 학습에서 局부 Radamacher 복잡도를 활용하고, 온라인 학습에서는 마틴게일 Bernstein 부등식과 페일링 기법을 적용한 수정된 온라인 뉴턴 방법을 통해 달성된다. 이는 손실 함수에 대한 약한 가정 조건 하에서 이루어진다.

ABSTRACT

The overarching goal of this paper is to derive excess risk bounds for learning from exp-concave loss functions in passive and sequential learning settings. Exp-concave loss functions encompass several fundamental problems in machine learning such as squared loss in linear regression, logistic loss in classification, and negative logarithm loss in portfolio management. In batch setting, we obtain sharp bounds on the performance of empirical risk minimization performed in a linear hypothesis space and with respect to the exp-concave loss functions. We also extend the results to the online setting where the learner receives the training examples in a sequential manner. We propose an online learning algorithm that is a properly modified version of online Newton method to obtain sharp risk bounds. Under an additional mild assumption on the loss function, we show that in both settings we are able to achieve an excess risk bound of $O(d\log n/n)$ that holds with a high probability.

연구 동기 및 목표

• 지수적으로 볼록한 손실 함수를 가진 학습에서 배치 및 순차적 설정 모두에 대해 정밀한 excess risk 한계를 유도하기 위해.
• 강한 볼록성 이상의 일반화 속도 한계를 더 넓은 범주인 지수 볼록 손실로 확장하기 위해.
• 기존의 기대 기반 한계에 비해 향상된 높은 확률 excess risk 한계를 달성하기 위해.
• 지수 볼록 손실 하에서 선형 가설 공간에서의 경험 리스크 최소화의 성능을 분석하기 위해.
• 미래 연구에서 희소성 기법을 활용해 차원 $d$ 에 대한 의존도를 줄일 수 있는지 탐색하기 위해.

제안 방법

• 유계 선형 가설 공간 $\mathscr{W}$ 에서 $\|\mathbf{w}\| \leq R$ 를 만족하는 조건 하에 배치 설정에서 경험 리스크 최소화를 적용한다.
• 지수 볼록 함수에 특화된 局부 Radamacher 복잡도 분석을 적용하여 배치 설정에서 정밀한 수렴 속도를 도출한다.
• 위험과 excess risk 를 제어하기 위해 적응형 정규화와 헤시안 기반 업데이트를 적용한 수정된 온라인 뉴턴 방법을 제안한다.
• 온라인 업데이트의 확률적 성격을 다루고 오차 누적을 통제하기 위해 마틴게일에 대한 Bernstein 부등식과 페일링 과정을 활용한다.
• 헤시안 근사 오차, 기울기 노이즈, 곡률 이탈과 관련된 항들을 포함하는 새로운 excess risk 분해를 도입한다.
• 헤시안 역행렬의 성장률을 통제하기 위해 행렬 추적 부등식과 행렬 행렬식의 경계를 조합한 이중 분석 프레임워크를 사용한다.

실험 결과

연구 질문

• RQ1 지수 볼록 손실에 대해 배치 학습 설정에서 $O(d\log n/n)$ 수준의 정밀한 excess risk 한계를 높은 확률로 달성할 수 있는가?
• RQ2 온라인 뉴턴 방법을 수정하여 기대 기반 한계가 아닌 높은 확률 한계로 $O(d\log n/n)$ 수준의 excess risk 한계를 달성할 수 있는가?
• RQ3 이러한 빠른 수렴 속도를 달성하기 위해 손실 함수에 추가로 어떤 가정이 필요한가?
• RQ4 excess risk 한계에 포함된 $\log n$ 요소는 피할 수 없으며, 더 정교한 분석을 통해 제거할 수 있는가?
• RQ5 희소 복구 기법을 활용하여 희소 해를 얻을 경우, $d$ 에 대한 의존도를 $s\log d$ 수준으로 줄일 수 있는가?

주요 결과

• 논문은 지수 볼록 손실 하에서 경험 리스크 최소화에 대해 높은 확률로 $O(d\log n/n)$ 수준의 excess risk 한계를 수립한다.
• 온라인 설정에서 수정된 온라인 뉴턴 방법은 높은 확률로 동일한 $O(d\log n/n)$ 수준의 excess risk 한계를 달성한다.
• 분석은 온라인 기울기의 편차를 통제하기 위해 페일링 과정과 마틴게일에 대한 Bernstein 부등식에 의존한다.
• 지수 볼록성과 리프시츠 연속성 이외의 약한 추가 가정이 필요로 한다.
• 유도된 한계는 일반적인 볼록 리프시츠 손실에 대해 표준 $O(1/\sqrt{n})$ 속도보다 훨씬 빠르다.
• 논문은 $d\log n/n$ 이 잠재적인 날카운 한계일 수 있음을 밝히며, $\log n$ 을 제거하거나 희소 해를 위한 $d$ 를 $s\log d$ 로 줄일 수 있는지 여부는 여전히 미해결 문제로 남아 있다.