[논문 리뷰] Scale-Free Algorithms for Online Linear Optimization

Francesco Orabona, Dávid Pál|arXiv (Cornell University)|2015. 02. 19.

Advanced Bandit Algorithms Research참고 문헌 25인용 수 7

한 줄 요약

이 논문은 손실 벡터의 범위에 대한 사전 지식 없이도 그 노름에 적응적으로 조정하는 스케일 프리 알고리즘을 소개한다. Follow-The-Regularized-Leader (FTRL) 프레임워크에서 척도 불변성과 적응형 학습률을 활용하여 저자들은 AdaFTRL과 SOLO FTRL를 제안하며, 결정 집합이 유계가 아니더라도 손실 벡터의 이중 노름 제곱합의 제곱근 비례로 최적의 리그레트 한계를 달성한다.

ABSTRACT

We design algorithms for online linear optimization that have optimal regret and at the same time do not need to know any upper or lower bounds on the norm of the loss vectors. We achieve adaptiveness to norms of loss vectors by scale invariance, i.e., our algorithms make exactly the same decisions if the sequence of loss vectors is multiplied by any positive constant. Our algorithms work for any decision set, bounded or unbounded. For unbounded decisions sets, these are the first truly adaptive algorithms for online linear optimization.

연구 동기 및 목표

• 손실 벡터의 노름에 대한 사전 지식이 필요로 하는 기존 온라인 선형 최적화 알고리즘의 적응성 부족 문제를 해결한다.
• 모든 양의 상수로 손실 벡터가 스케일링되더라도 그 결정이 변하지 않는, 척도 불변성(스케일 인variant)인 알고리즘을 설계한다.
• 손실 벡터의 노름에 대한 경계를 가정하지 않고도, 유계가 아닌 결정 집합에 대해 최적의 리그레트 한계를 갖는 첫 번째 알고리즘을 제공한다.
• 이론적 리그레트 한계와 실용적 적응성 사이의 격차를 메우기 위해, 더블링 트릭에 의존하지 않는 내재된 방법을 도입한다.
• 전문가 예측에서의 스케일 프리 성질을 일반적인 볼록 결정 집합을 가진 온라인 선형 최적화로 일반화한다.

제안 방법

• 손실 벡터의 이중 노름의 누적합에서 유도된 적응형 학습률을 갖는 FTRL 기반 알고리즘인 AdaFTRL을 개발한다.
• 현재까지 관측한 최대 이중 노름에 따라 학습률이 결정되는 새로운 FTRL 알고리즘인 SOLO FTRL를 도입한다. 이는 척도 불변성을 가능하게 한다.
• 손실 벡터 스케일링에 대해 불변성을 유지하기 위해, 누적 이중 노름에 반비례하게 학습률을 설계한다.
• 강력한 볼록 정규화를 FTRL 프레임워크에 적용하여 강력한 리그레트 보장을 유지하면서도 적응형 학습률을 가능하게 한다.
• 레미마를 사용하여 노름과 합의 성질을 각각 유계로 나누어, 세 항(정규화, 누적 손실, 적응형 학습률 기여)으로 분해하여 리그레트 한계를 증명한다.
• 결정 집합의 구조를 고려하기 위해 좌표별 학습률을 적용하여 알고리즘을 확장하고, 차원 간 척도 불변성을 유지한다.

실험 결과

연구 질문

• RQ1 기존의 경계가 없는 손실 벡터 노름에 대한 사전 지식 없이도, 손실 벡터의 노름이 변동함에 따라 진정으로 적응 가능한 온라인 선형 최적화 알고리즘이 가능할 수 있는가?
• RQ2 손실 벡터의 노름에 대한 경계를 가정하지 않고도, 유계가 아닌 결정 집합에 대해 척도 불변인 알고리즘을 설계할 수 있는가? 이 경우 비어 있지 않은 리그레트 한계를 확보할 수 있는가?
• RQ3 스케일 프리 알고리즘의 리그레트 한계는 손실 벡터의 이중 노름에 대해 이론적 하한과 어떻게 비교되는가?
• RQ4 더블링 트릭이나 히우리스틱 수정에 의존하지 않고 스케일 프리 성질을 자연스럽게 달성할 수 있는가?
• RQ5 엄격한 리그레트 한계를 달성하기 위해 결정 집합의 지름과 정규화의 상한 사이의 최적의 트레이드오프는 무엇인가?

주요 결과

• AdaFTRL는 유계 결정 집합에 대해 $ O\left(\sqrt{\sum_{t=1}^{T}\|\ell_t\|_*^2}\right) $ 의 리그레트 한계를 달성하며, 손실 벡터의 이중 노름에 대한 최적의 의존성과 일치한다.
• SOLO FTRL는 $ O\left(\max_{t \leq T}\|\ell_t\|_* \sqrt{T}\right) $ 의 리그레트 한계를 달성하며, 이는 유계가 아닌 집합에 대해 최적이며 손실 벡터의 최대 노름에 비례한다.
• 유계 집합에서 임의의 OLO 알고리즘에 대해 $ \Omega\left(D\sqrt{\sum_{t=1}^{T}\|\ell_t\|_*^2}\right) $ 의 하한을 증명하여, 상한이 상수 인자까지 날카롭게 tight하다는 것을 보여준다.
• 하한과 상한 사이의 격차는 $ \sqrt{\sup_{v\in K}f(v)} / D $ 의 비율로 정량화되며, 여기서 $ f $ 는 1-강력 볼록 정규화이므로 정규화 선택의 중요성을 강조한다.
• 제안된 알고리즘은 유계가 아닌 결정 집합에 대해 진정으로 스케일 프리인 최초의 방법으로, 이전의 적응형 알고리즘에서 요구하는 유계성 또는 고정된 파rameter의 제약을 극복한다.
• 좌표별 학습률은 AdaFTRL와 SOLO FTRL에 적용 가능하며, 이는 구조화된 최적화 설정에서 기존의 한계를 일반화하고 개선한다.