[논문 리뷰] A Simple Analysis for Exp-concave Empirical Minimization with Arbitrary Convex Regularizer

Tianbao Yang, Zhe Li외 1명|arXiv (Cornell University)|2017. 09. 09.

Sparse and Compressive Sensing Techniques참고 문헌 8인용 수 3

한 줄 요약

이 논문은 임의의 볼록 정규화 항을 가진 지수-볼록(empirical) 최소화 문제에서 빠른 수렴 속도를 위한 단순하고 새로운 분석을 제시한다. 커버링 수와 농도 불등식을 유일하게 사용하여 높은 확률로 $ O(d\log n/n + d\log(1/\delta)/(n\sigma)) $ 의 수렴 속도를 달성하며, 이는 이전의 정규화된 및 비정규화된 지수-볼록 문제에 대한 결과들을 통합하고 확장한다.

ABSTRACT

In this paper, we present a simple analysis of {\bf fast rates} with {\it high probability} of {\bf empirical minimization} for {\it stochastic composite optimization} over a finite-dimensional bounded convex set with exponential concave loss functions and an arbitrary convex regularization. To the best of our knowledge, this result is the first of its kind. As a byproduct, we can directly obtain the fast rate with {\it high probability} for exponential concave empirical risk minimization with and without any convex regularization, which not only extends existing results of empirical risk minimization but also provides a unified framework for analyzing exponential concave empirical risk minimization with and without {\it any} convex regularization. Our proof is very simple only exploiting the covering number of a finite-dimensional bounded set and a concentration inequality of random vectors.

연구 동기 및 목표

• 지수-볼록 손실과 임의의 볼록 정규화 항을 가진 경험 최소화 문제에서 높은 확률로 빠른 수렴 속도를 확립하기 위해.
• 표준 ERM 이론이 제공하는 $ O(\sqrt{d/n}) $ 의 수렴 속도가 지수-볼록 문제에서는 최적화되지 않음을 해결하기 위해.
• 정규화된 및 비정규화된 지수-볼록 경험 위험 최소화를 둘 다 포함하는 통합된 프레임워크를 제공하기 위해.
• 복잡한 알고리즘 분석이나 정규화 항에 대한 강한 가정 대신 볼록성 이외의 조건 없이도 작동하는 증명 기법을 개발하기 위해.
• 기대값 기반으로 알려진 최고 수준의 수렴 속도를 유지하면서도 높은 확률 보장을 갖는 빠른 수렴 속도를 달성하기 위해.

제안 방법

• 유계이고 유한차원 볼록 집합의 커버링 수를 이용해 메트릭 엔트로피를 제어한다.
• 랜덤 벡터에 대한 농도 불등식을 적용하여 경험 위험과 그 기대값 간의 편차를 제한한다.
• 손실 함수 $ f $ 가 $ \beta $-지수-볼록이고 정규화 항 $ R $ 이 볼록일 때, 정규화된 목표 함수 $ P_n(\mathbf{w}) = \frac{1}{n}\sum f(\mathbf{w}, \mathbf{z}_i) + R(\mathbf{w}) $ 의 경험 최소화자 $ \widehat{\mathbf{w}} $ 를 분석한다.
• 균일한 편차 제어를 통해 경험 위험과 진짜 위험 간의 차이를 $ \varepsilon $-넷과 체이닝 스타일의 추론을 통해 유도한다.
• 정규화 항을 고려하기 위해 유계 함수 $ g(\mathbf{w}) $ 를 사용한 페르투르베이션(변형) 기법을 도입한다.
• 최종 수렴 속도를 유도하기 위해 $ \varepsilon = 1/n $, $ \alpha = \log(2/\delta)/n $ 으로 설정하고, $ \|\widehat{\mathbf{w}} - \mathbf{w}_*\|_2 \leq 2R $ 의 경계를 활용한다.

실험 결과

연구 질문

• RQ1 임의의 볼록 정규화 항을 가진 지수-볼록 경험 위험 최소화 문제에서 높은 확률로 빠른 수렴 속도를 확립할 수 있는가?
• RQ2 정규화된 및 비정규화된 지수-볼록 ERM의 분석을 하나의 프레임워크로 통합할 수 있는가?
• RQ3 커버링 수와 농도 불등식에 기반한 단순한 증명 기법이 복잡한 최적화 알고리즘에 의존하지 않고도 빠른 수렴 속도를 달성할 수 있는가?
• RQ4 임의의 볼록 정규화를 가진 지수-볼록 ERM에 대한 최적의 높은 확률 수렴 속도는 무엇인가?
• RQ5 보팅 기법을 사용하지 않고도 수렴 속도에서 $ \log n $ 요소를 제거할 수 있는가?

주요 결과

• 논문은 임의의 볼록 정규화 항을 가진 지수-볼록 손실의 경험 최소화자에 대해 높은 확률로 $ O\left(\frac{d\log n}{n} + \frac{d\log(1/\delta)}{n\sigma}\right) $ 의 수렴 속도를 확립한다.
• 이 결과는 현재까지 일반적인 볼록 정규화에 대해 높은 확률로 이러한 속도를 달성한 최초의 사례이며, $ R(\mathbf{w}) $ 가 강한 볼록이 아니어도 된다는 점에서 놀랍다.
• 증명은 커버링 수 경계와 랜덤 벡터에 대한 농도 불등식 외에 다른 복잡한 기법을 전혀 사용하지 않는다.
• 이 프레임워크는 정규화된 및 비정규화된 지수-볼록 ERM의 분석을 통합하여, 둘 다에 대해 동일한 수렴 속도를 제공한다.
• 수렴 속도는 기대값 기반으로 알려진 최고 수준의 속도(예: $ O(d/n) $)에 $ \log n $ 요소를 더한 정도로, 현재 기법으로는 이를 초월할 수 없다.
• 현재까지의 기법으로는 $ \log n $ 요소를 제거할 수 없다는 점에서, 향후 연구를 위한 잠재적 방향으로 남아 있다.