[논문 리뷰] Learning From An Optimization Viewpoint

Karthik Sridharan|arXiv (Cornell University)|2012. 04. 18.

Machine Learning and Algorithms참고 문헌 84인용 수 19

한 줄 요약

이 학위 논문은 기계 학습을 최적화 문제로 재정의하여, 기존의 균일 수렴 접근 방식(예: 경험적 위험 최소화, ERM)이 일반적인 학습 환경에서 실패할 수 있음을 보이며, 반면 확률적 근사(SA) 방법은 성공을 거둔다. 순차적 커버링 및 패킹 수를 도입하여 학습 가능성과 실행 가능성의 특성을 기술하고, 비독립 동일분포 또는 구조화된 데이터에 대해 고전적인 VC 유형 측정치보다 더 날카로운 경계를 제공하는 순차적 복잡도 측정치(예: 순차적 지방 쇄기 차원)의 유용성을 보여준다.

ABSTRACT

In this dissertation we study statistical and online learning problems from an optimization viewpoint.The dissertation is divided into two parts : I. We first consider the question of learnability for statistical learning problems in the general learning setting. The question of learnability is well studied and fully characterized for binary classification and for real valued supervised learning problems using the theory of uniform convergence. However we show that for the general learning setting uniform convergence theory fails to characterize learnability. To fill this void we use stability of learning algorithms to fully characterize statistical learnability in the general setting. Next we consider the problem of online learning. Unlike the statistical learning framework there is a dearth of generic tools that can be used to establish learnability and rates for online learning problems in general. We provide online analogs to classical tools from statistical learning theory like Rademacher complexity, covering numbers, etc. We further use these tools to fully characterize learnability for online supervised learning problems. II. In the second part, for general classes of convex learning problems, we provide appropriate mirror descent (MD) updates for online and statistical learning of these problems. Further, we show that the the MD is near optimal for online convex learning and for most cases, is also near optimal for statistical convex learning. We next consider the problem of convex optimization and show that oracle complexity can be lower bounded by the so called fat-shattering dimension of the associated linear class. Thus we establish a strong connection between offline convex optimization problems and statistical learning problems. We also show that for a large class of high dimensional optimization problems, MD is in fact near optimal even for convex optimization.

연구 동기 및 목표

• 통계적 및 온라인 학습을 최적화 문제로 재정의하여 학습, 최적화, 일반화 간의 관계를 깊이 이해하고자 한다.
• 고전적 균일 수렴 이론(예: VC 차원, 라데마처 복잡도)이 일반 학습 문제의 학습 가능성 특성화에 한계를 가진다는 것을 조사하고자 한다.
• 통계적 및 온라인 학습에서 학습 가능성과 실행 가능성 분석을 위한 새로운 이론적 프레임워크를 구축하고자 하며, 이는 순차적 커버링 및 패킹 수를 기반으로 한다.
• 경험적 위험 최소화(ERM)가 실패하는 상황에서도 학습 보장을 제공할 수 있는 확률적 근사(SA) 방법이 존재함을 보여주고자 한다. 이는 볼록 설정에서도 성립한다.
• 순차적 복잡도 측정치(예: 순차적 지방 쇄기 차원)를 사용하여 볼록 학습 문제의 오рак루 복잡도와 수렴 속도를 기술하고자 한다.

제안 방법

• 학습을 확률적 최적화 문제로 공식화하며, ERM(Sample Average Approximation)와 SA 접근 방식 간의 차이를 명확히 한다.
• 깊이 $ n $ 의 트리에서 함수 클래스의 복잡도를 측정하는 순차적 커버링 수 $ N^\text{seq}_p(\alpha, \mathcal{F}, z) $ 를 도입하여 경로 의존적 행동을 포착한다.
• 약한 패킹 $ D_p(\alpha, \mathcal{F}, z) $ 와 강한 패킹 $ M_p(\alpha, \mathcal{F}, z) $ 를 정의하며, 후자는 공통 경로 상의 분리 조건을 요구한다.
• 불등식 $ M_p(2\alpha, \mathcal{F}, z) \leq N^\text{seq}_p(\alpha, \mathcal{F}, z) \leq D_p(\alpha, \mathcal{F}, z) $ 를 확립하여 순차적 설정에서 커버링과 패킹 간의 관계를 맺는다.
• 조합적 경계를 증명한다: $ N^\text{seq}_\infty(1/2, \mathcal{F}, n) \leq \sum_{i=0}^d \binom{n}{i} k^i \leq (ekn)^d $, 여기서 $ d = \text{fat}^\text{seq}_2(\mathcal{F}) $ 이며, 이는 트리로의 사우어-샤일러 보조정리 일반화이다.
• 이산화와 순차적 복잡도를 활용하여 볼록 학습 문제에서 오라클 복잡도와 수렴 속도를 경계한다.

실험 결과

연구 질문

• RQ1 왜 균일 수렴 이론은 일반적인 통계적 학습 문제의 학습 가능성 특성화에 실패하는가?
• RQ2 조금이라도 볼록 설정이라도 경험적 위험 최소화(ERM)가 실패하는 상황에서 확률적 근사(SA)가 학습 보장을 제공할 수 있는가?
• RQ3 순차적 커버링 및 패킹 수는 고전적 VC 또는 라데마처 기반 측정치와 어떻게 다를까? 함수 클래스의 복잡도를 포착하는 데서.
• RQ4 비독립 동일분포 또는 구조화된 설정에서 순차적 지방 쇄기 차원은 학습 가능성과 수렴 속도를 결정하는 데 어떤 역할을 하는가?
• RQ5 볼록 학습 문제의 오라클 복잡도는 $ N^\text{seq}_p(\alpha, \mathcal{F}, z) $ 와 같은 순차적 복잡도 측정치와 어떻게 관련이 있는가?

주요 결과

• 볼록 학습 문제에 대해 확률적 근사(SA)를 통해 성공적인 학습이 가능하지만, ERM는 의미 있는 일반화 보장을 제공하지 못하는 반례를 구성하였다.
• 순차적 커버링 수 $ N^\text{seq}_\infty(1/2, \mathcal{F}, n) $ 는 $ (ekn)^d $ 로 경계되며, 여기서 $ d = \text{fat}^\text{seq}_2(\mathcal{F}) $ 이며, 이는 사우어-샤일러 보조정리를 트리로의 일반화한 것이다.
• 약한 패킹 수와 강한 패킹 수 사이의 격차는 최대 $ 2^n $ 까지 클 수 있으며, 이는 순차적 설정에서 경로 기반 분리의 중요성을 강조한다.
• 불등식 $ M_p(2\alpha, \mathcal{F}, z) \leq N^\text{seq}_p(\alpha, \mathcal{F}, z) \leq D_p(\alpha, \mathcal{F}, z) $ 는 순차적 커버링과 패킹 간의 밀접한 연결을 확립하며, 새로운 일반화 경계를 가능하게 한다.
• 이 프레임워크는 순차적 복잡도 측정치(예: 순차적 지방 쇄기 차원)가 온라인 학습 및 비독립 동일분포 학습 문제 분석에 고전적 측정치보다 더 적합하다는 것을 보여준다.
• 결과적으로 최적화 기반 학습(SA를 통한)은 고전적 ERM 기반 접근 방식이 실패하는 설정에서도 성공할 수 있음을 보여주며, 이는 문제의 볼록성에도 불구하고 성립한다.