[논문 리뷰] Parameter-free online learning via model selection

Dylan J. Foster, Satyen Kale외 2명|arXiv (Cornell University)|2017. 12. 30.

Advanced Bandit Algorithms Research참고 문헌 23인용 수 11

한 줄 요약

이 논문은 모델 선택을 통한 매개변수 자유 온라인 학습을 위한 새로운 계산 효율적인 메타알고리즘을 제안하며, 미세한 부드러움 조건 하에 임의의 바나흐 공간에서 오라클 부등식을 도출한다. 랜덤 플레이아웃을 갖는 다중 척도 전문가 조언 프레임워크를 활용하여 각 전문가의 손실 범위에 적응하는 손실 경계를 달성함으로써, 이전의 내재된 힐베르트 공간 클래스를 넘어서 비선형 및 행렬 기반 가설 집합으로 일반화되며, 강력한 유한 표본 보장을 제공한다.

ABSTRACT

We introduce an efficient algorithmic framework for model selection in online learning, also known as parameter-free online learning. Departing from previous work, which has focused on highly structured function classes such as nested balls in Hilbert space, we propose a generic meta-algorithm framework that achieves online model selection oracle inequalities under minimal structural assumptions. We give the first computationally efficient parameter-free algorithms that work in arbitrary Banach spaces under mild smoothness assumptions; previous results applied only to Hilbert spaces. We further derive new oracle inequalities for matrix classes, non-nested convex sets, and $\mathbb{R}^{d}$ with generic regularizers. Finally, we generalize these results by providing oracle inequalities for arbitrary non-linear classes in the online supervised learning model. These results are all derived through a unified meta-algorithm scheme using a novel "multi-scale" algorithm for prediction with expert advice based on random playout, which may be of independent interest.

연구 동기 및 목표

• 내재된 힐베르트 공간과 같은 특정 구조적 가정에 의존하지 않는 일반적이고 효율적인 온라인 학습에서의 모델 선택 프레임워크를 개발하는 것.
• 매개변수 자유 온라인 학습을 일반 바나흐 공간과 비선형 가설 클래스로 확장하며, 행렬 및 고차원 설정을 포함한다.
• 최적의 가설 클래스를 선택하는 오라클의 성능을 근사하는 유한 표본 오라클 부등식을 갖는 계산 효율적인 알고리즘을 제공하는 것.
• 새로운 다중 척도 예측-전문가 알고리즘을 통해 기존의 온라인 모델 선택 결과를 통합하고 일반화하는 것.

제안 방법

• 다양한 가설 클래스에 대한 하위 알고리즘들을 다중 척도 전문가 조언 기반 구조와 랜덤 플레이아웃을 사용하여 결합하는 메타알고리즘 프레임워크를 제안한다.
• 각 전문가의 손실 범위에 적응하는 손실 경계를 보장함으로써, 다양한 손실 크기의 영향에 강건한 새로운 '다중 척도' 알고리즘을 도입한다.
• 전문가에 대한 사전 분포를 사용하여 하위 알고리즘을 가중치 처리하며, 사전 분포는 각 가설 클래스의 예상 복잡도를 반영하도록 조정된다.
• 이 프레임워크를 다양한 설정에 적용: 바나흐 공간 내의 내재된 선형 클래스, 비내재된 볼록 집합, 행렬 클래스(예: 양의 준정적 행렬), 정규화를 통한 비선형 클래스.
• 손실 중심화를 위해 ˜ℓ(ˆy,y) = ℓ(ˆy,y) − ℓ(0,y)를 사용하고, 펜첼 쌍대성과 볼록 해석을 활용하여 손실 경계를 유도한다.
• 행렬 지수적 기울기와 행렬 승법 가중치와 같은 하위 알고리즘을 활용하며, 손실 경계는 노름 파라미터 Rk와 Lk에 비례하여 스케일된다.

실험 결과

연구 질문

• RQ1 내재된 힐베르트 공간의 구조가 필요 없이 일반 바나흐 공간에서 계산 효율적인 온라인 모델 선택 알고리즘을 설계할 수 있는가?
• RQ2 손실이 가설 클래스의 복잡도에 따라 증가할 경우, 각 가설 클래스의 실제 손실 범위에 적응하는 학습 알고리즘의 손실 경계는 어떻게 조정할 수 있는가?
• RQ3 제안된 프레임워크는 비선형 가설 클래스와 온라인 PCA 또는 행렬 예측과 같은 행렬 기반 학습 문제로 확장될 수 있는가?
• RQ4 다양한 가설 클래스 간 최적의 손실 경계 달성을 위해 전문가에 대한 사전 분포는 어떤 역할을 하는가?
• RQ5 손실이 클래스 간에 크게 다를 경우, 다중 척도 전문가 조언 메커니즘이 최종 손실이 최고의 개별 전문가와 유사한 수준이 되도록 보장하는 방식은 무엇인가?

주요 결과

• 제안된 프레임워크는 미세한 부드러움 조건 하에 임의의 바나흐 공간에서 온라인 모델 선택에 대해 오라클 부등식을 달성하며, 이는 이전 연구에서 허용된 힐베르트 공간에 국한된 결과를 일반화한다.
• 행렬 학습의 고차원 설정에서 온라인 PCA 및 온라인 행렬 예측에 대해 다항 시간 내에 작동하는 첫 번째 매개변수 자유 온라인 학습 솔루션을 제공한다.
• 핵심 노름이 유한한 양의 준정적 행렬과 같은 행렬 클래스의 경우, 랭크-k 행렬에 대해 손실 경계는 Õ(√n min{k, d−k}²)로 유한하며, 오라클 성능과 일치한다.
• 핵심 노름 제약 조건이 있는 행렬 학습의 경우, 노름 상한 R을 갖는 클래스에 대해 손실 경계는 O(R√n log d)이며, 하위 알고리즘으로 행렬 승법 가중치를 사용한다.
• 각 전문가의 손실이 유계이거나 증가할 수 있는 상황에서도, 각 전문가의 손실 범위에 따라 손실 경계를 스케일링함으로써 최종 손실이 최고의 가설 클래스의 손실에 상수 요인 내에 머무르도록 보장한다.
• 통합된 메타알고리즘을 통해 각 가설 클래스를 전문가로 간주하며, 다중 척도 구조는 주어진 문제 인스턴스에 대해 최적의 클래스에 비해 상수 요인 내의 손실 경계를 갖는 하위 알고리즘이 존재함을 보장한다.