[논문 리뷰] Black-Box Reductions for Parameter-free Online Learning in Banach Spaces

Ashok Cutkosky, Francesco Orabona|arXiv (Cornell University)|2018. 02. 17.

Advanced Bandit Algorithms Research인용 수 8

한 줄 요약

이 논문은 바나흐 공간 내에서 매개변수 자유 온라인 학습 알고리즘의 설계를 단순화하는 새로운 블랙박스 감소 기법을 제안한다. 복잡한 고차원 문제를 1차원 최적화 및 비제약 설정으로 감소시켜, 온라인 기울기 하강법과 동일한 런타임을 확보하면서도 임의의 노름에 대해 적용 가능한 성능 향상된 리그레트 한계를 달성한다. $ O\big(\operatorname{Norm}{\mathring{w}} \sqrt{\sum_{t=1}^T \|g_t\|_\star^2 \ln(\|\mathring{w}\| \sum_{t=1}^T \|g_t\|_\star^2 + 1)}\big) $의 리그레트 한계를 달성한다.

ABSTRACT

We introduce several new black-box reductions that significantly improve the design of adaptive and parameter-free online learning algorithms by simplifying analysis, improving regret guarantees, and sometimes even improving runtime. We reduce parameter-free online learning to online exp-concave optimization, we reduce optimization in a Banach space to one-dimensional optimization, and we reduce optimization over a constrained domain to unconstrained optimization. All of our reductions run as fast as online gradient descent. We use our new techniques to improve upon the previously best regret bounds for parameter-free learning, and do so for arbitrary norms.

연구 동기 및 목표

• 복잡한 최적화 문제를 더 단순하고 잘 이해된 설정으로 감소시켜 적응형, 매개변수 자유 온라인 학습 알고리즘의 설계를 단순화한다.
• 매개변수 조정이 필요 없이 바나흐 공간 내 온라인 학습의 리그레트 보장을 향상시킨다.
• 이전 결과를 유클리드 노름 및 힐베르트 공간 설정을 초월하여 임의의 노름과 제약 조건이 있는 도메인으로 일반화한다.
• 계산 효율성을 유지하여 온라인 기울기 하강법과 유사한 런타임을 확보한다.

제안 방법

• 블랙박스 변환을 사용하여 매개변수 자유 온라인 학습을 온라인 지수-concave 최적화로 감소시킨다.
• 새로운 감소 프레임워크를 통해 임의의 바나흐 공간 내 최적화를 1차원 온라인 최적화로 감소시킨다.
• 집합 $ W \subset V $ 위에서의 제약 조건이 있는 온라인 학습을 더 큰 공간 $ V $ 위에서의 비제약 최적화로 감소시키며, 리그레트 보장을 유지한다.
• 감소된 1차원 설정에서 리그레트를 제어하기 위해 적응형 가중치를 사용하는 재귀 평균화 기법을 활용한다.
• 서브기울기 크기를 측정하기 위해 쌍대 노름 $ \|\cdot\|_\star $를 사용하고, 철저히 설계된 잠재 함수를 통해 안정성을 확보한다.
• 카우치-슈바르츠 및 텔레스코프 합 기법을 사용하여 리그레트를 누적된 서브기울기 노름과 적응형 가중치의 함수로 bound한다.

실험 결과

연구 질문

• RQ1 바나흐 공간 내에서 매개변수 자유 온라인 학습을 리그레트 성능 손실 없이 더 단순한 1차원 최적화 문제로 감소시킬 수 있는가?
• RQ2 특히 매끄러운 손실에 대해 리그레트 한계를 $ \|g_t\|_\star $가 아닌 $ \|g_t\|_\star^2 $에 의존하도록 개선할 수 있는가?
• RQ3 모든 노름에 적용 가능한 일반성과 온라인 기울기 하강법과 동일한 런타임을 확보하는 효율성을 동시에 갖춘 감소 기법을 구성할 수 있는가?
• RQ4 최적의 리그레트를 유지하면서 제약 조건이 있는 도메인과 다중 척도 전문가 문제를 다룰 수 있도록 프레임워크를 확장할 수 있는가?
• RQ5 일阶 정보만을 사용하여 일반 볼록 손실에 대해 $ \tilde{O}(\sqrt{T}) $ 리그레트를 달성하고, 강력 볼록 손실에 대해 로그 리그레트를 달성할 수 있는가?

주요 결과

• 논문은 $ R_T(\mathring{w}) \leq \|\mathring{w}\| \sqrt{\sum_{t=1}^T \|g_t\|_\star^2 \ln\left(\|\mathring{w}\| \sum_{t=1}^T \|g_t\|_\star^2 + 1\right)} $의 리그레트 한계를 달성하며, 이는 이전 결과보다 $ \|g_t\|_\star $ 대신 $ \|g_t\|_\star^2 $에 의존함으로써 향상된 것이다.
• 이 리그레트 한계는 로그 인자 외에는 최적이며, 임의의 노름에 대해 유효하며 2-노름 설정을 초월하여 일반화된다.
• 모든 감소 기법은 온라인 기울기 하강법과 유사한 런타임을 확보하여 계산적으로 효율적이다.
• 이 프레임워크는 다중 척도 전문가 문제에 대해 향상된 리그레트와 런타임을 가능하게 하며, 이전 결과를 따라하거나 초월한다.
• 이 방법은 일반 볼록 손실에 대해 $ \tilde{O}(\sqrt{T}) $ 리그레트를 달성하고, 강력 볼록 손실에 대해 로그 리그레트를 달성하며, 일阶 정보만을 사용한다.
• 분석은 이전 연구들보다 훨씬 단순하며, 복잡한 대수적 변환을 피하고 바나흐 공간으로 일반화된다.