[논문 리뷰] ZigZag: A new approach to adaptive online learning

Dylan J. Foster, Alexander Rakhlin외 1명|arXiv (Cornell University)|2017. 04. 13.

Online Learning and Analytics인용 수 3

한 줄 요약

이 논문은 데이터 시퀀스의 경험적 라데마처 복잡도에 비례하는 오차 한계를 달성하는 새로운 적응형 온라인 학습 알고리즘 가족인 ZigZag을 소개한다. 반복적 불변성 불등식의 기하학적 특성화를 활용하여, Banach 공간에서의 분리 불등식을 기반으로 하며, ℓp, 샤텐 p-노름, 그리고 재생 커널 힐버트 공간을 포함한 다양한 노름에 대해 효율적이고 척도에 민감하지 않은 알고리즘을 설계한다. 이는 적대적 환경과 i.i.d. 환경 모두에서 데이터에 따라 조정되는 오차 한계와 향상된 일반화 성능을 달성한다.

ABSTRACT

We develop a novel family of algorithms for the online learning setting with regret against any data sequence bounded by the empirical Rademacher complexity of that sequence. To develop a general theory of when this type of adaptive regret bound is achievable we establish a connection to the theory of decoupling inequalities for martingales in Banach spaces. When the hypothesis class is a set of linear functions bounded in some norm, such a regret bound is achievable if and only if the norm satisfies certain decoupling inequalities for martingales. Donald Burkholder's celebrated geometric characterization of decoupling inequalities (1984) states that such an inequality holds if and only if there exists a special function called a Burkholder function satisfying certain restricted concavity properties. Our online learning algorithms are efficient in terms of queries to this function. We realize our general theory by giving novel efficient algorithms for classes including lp norms, Schatten p-norms, group norms, and reproducing kernel Hilbert spaces. The empirical Rademacher complexity regret bound implies --- when used in the i.i.d. setting --- a data-dependent complexity bound for excess risk after online-to-batch conversion. To showcase the power of the empirical Rademacher complexity regret bound, we derive improved rates for a supervised learning generalization of the online learning with low rank experts task and for the online matrix prediction task. In addition to obtaining tight data-dependent regret bounds, our algorithms enjoy improved efficiency over previous techniques based on Rademacher complexity, automatically work in the infinite horizon setting, and are scale-free. To obtain such adaptive methods, we introduce novel machinery, and the resulting algorithms are not based on the standard tools of online convex optimization.

연구 동기 및 목표

• 경험적 라데마처 복잡도에 비례하는 적응형 온라인 학습 오차 한계 이론을 일반화하기.
• Banach 공간에서의 마틴갈 분리 불등식을 사용하여 이러한 오차 한계의 필요 및 충분 조건을 규명하기.
• 시퀀스의 난이도에 대한 사전 지식 없이 데이터 복잡도에 자동으로 적응하는 효율적이고 척도에 민감하지 않은 온라인 알고리즘 설계하기.
• 무한차원 함수 클래스, 특히 재생 커널 힐버트 공간과 저질서 행렬 예측에 이 프레임워크를 확장하기.
• 온라인에서 배치로의 변환 이후 일반화 속도 향상을 입증하기, 특히 저질서 전문가와 행렬 예측 과제에서 성능 향상.

제안 방법

• UMD 공간의 기하학적 특성화에서 유도된 '지그재그 볼록 함수'를 기반으로 하는 새로운 온라인 학습 알고리즘 클래스 제안.
• UMD(무조건적 마틴갈 차분) 불등식과 정지 시간 추론을 기반으로 한 새로운 기법을 사용하여 오차 한계 유도.
• 제한된 볼록성과 상한 성질을 만족하는 Burkholder 함수를 쿼리하여 효율적 알고리즘 구축.
• ℓp, 샤텐 p-노름, 그룹 노름, RKHS 등 특정 노름에 이 те론을 적용하여 적절한 U 함수의 존재를 보여줌.
• 무한한 수열를 다루기 위해 '두 배 증가 기법'과 재귀 함수 조합을 활용하여 무한 수명 적응성 확보.
• 경험적 라데마처 복잡도를 통한 데이터 의존 오차 한계 유도. 이는 온라인에서 배치로의 변환 후 i.i.d. 설정에서 초과 위험 한계로 번역된다.

실험 결과

연구 질문

• RQ1 가설 클래스에 어떤 조건이 충족되어야, 데이터 시퀀스의 경험적 라데마처 복잡도에 의해 온라인 오차 한계가 유도될 수 있는가?
• RQ2 어떤 조건에서 그러한 오차 한계를 가능하게 하는 Burkholder 함수가 존재하며, 이를 효율적으로 계산할 수 있는가?
• RQ3 이 프레임워크는 비선형 함수 클래스와 RKHS, 저질서 행렬과 같은 무한차원 공간으로 확장 가능한가?
• RQ4 온라인에서 배치로의 변환 이후 i.i.d. 설정에서 이러한 오차 한계가 일반화에 어떤 영향을 미치는가?
• RQ5 기존의 라데마처 기반 온라인 학습 방법과 비교해 볼 때, 이로 유도된 알고리즘은 효율성과 적응성 면에서 어떻게 다른가?

주요 결과

• 논문은 오차 한계가 경험적 라데마처 복잡도에 의해 유도될 수 있음을, 유일하게 해당 노름이 특정한 분리 불등식을 만족할 경우에만 가능하다고 규명한다. 이는 Burkholder 함수의 존재에 의해 특징지어진다.
• 짝수인 p ≥ 2인 ℓp 노름에 대해, 상수 α에 대해 Ck ≤ αk⁴인 명시적 Burkholder 함수를 구성한다.
• 이 프레임워크는 효율적이고 척도에 민감하지 않은 알고리즘을 도출하며, 무한 수명 설정에서 작동하고 데이터 복잡도에 자동으로 적응한다.
• i.i.d. 설정에서는 경험적 라데마처 복잡도 오차 한계가 온라인에서 배치로의 변환 후 데이터 의존 초과 위험 한계로 번역된다.
• 저질서 전문가와 온라인 행렬 예측 과제에서 이전 방법들을 능가하는 향상된 일반화 속도를 달성한다.
• 이론은 함수 클래스에서 일반화된 UMD 성질의 필요 및 충분 조건을 제공하며, 경험적 커버링 수의 한계 적용에 기여한다.