[논문 리뷰] Adaptive Online Learning in Dynamic Environments

Lijun Zhang, Shiyin Lu외 1명|arXiv (Cornell University)|2018. 10. 25.

Advanced Bandit Algorithms Research참고 문헌 14인용 수 52

한 줄 요약

본 논문은 Ader를 도입하여 일반적인 동적 환경에 대해 최적의 동적 후퇴 경계(bound)를 달성하고, 라운드당 그래디언트 평가를 1로 줄이고 동적 모델로의 확장을 갖는 개선 버전을 제시한다.

ABSTRACT

In this paper, we study online convex optimization in dynamic environments, and aim to bound the dynamic regret with respect to any sequence of comparators. Existing work have shown that online gradient descent enjoys an $O(\sqrt{T}(1+P_T))$ dynamic regret, where $T$ is the number of iterations and $P_T$ is the path-length of the comparator sequence. However, this result is unsatisfactory, as there exists a large gap from the $Ω(\sqrt{T(1+P_T)})$ lower bound established in our paper. To address this limitation, we develop a novel online method, namely adaptive learning for dynamic environment (Ader), which achieves an optimal $O(\sqrt{T(1+P_T)})$ dynamic regret. The basic idea is to maintain a set of experts, each attaining an optimal dynamic regret for a specific path-length, and combines them with an expert-tracking algorithm. Furthermore, we propose an improved Ader based on the surrogate loss, and in this way the number of gradient evaluations per round is reduced from $O(\log T)$ to $1$. Finally, we extend Ader to the setting that a sequence of dynamical models is available to characterize the comparators.

연구 동기 및 목표

• 임의의 비교자 시퀀스에 대해 동적 후퇴를 상한으로 제한함으로써 변화하는 환경에서의 강건한 온라인 학습을 동기 부여한다.
• 일반적인 동적 후퇴에 대한 엄밀한 하한을 확립하고 일치하는 상한을 달성하는 알고리즘을 개발한다.
• 다른 경로 길이 최적화를 가진 여러 전문가를 결합하는 적응적 프레임워크를 개발한다.
• 성능 저하 없이 대리 손실 기반 변형으로 그래디언트 쿼리 복잡성을 줄인다.
• 비교자를 지배하는 일련의 동적 모델 시퀀스를 포함하는 설정으로 접근 방식을 확장한다.]
• method_assumption_delete_for_field_not_required?

제안 방법

• 특정 경로 길이에 대해 최적인 다수의 전문가를 유지하고 이를 병렬로 실행한다.
• 각 라운드마다 최적의 전문가를 추적하기 위해 지수 가중 메타 알고리즘을 사용한다.
• 전문가 알고리즘은 서로 다른 스텝 크기를 갖는 온라인 그래디언트 디센트 인스턴스이다.
• 향상된 버전에서 그래디언트 평가를 O(log T)에서 라운드당 1로 줄이기 위해 대리 손실을 도입한다.
• Ader를 일련의 동적 모델을 포함하도록 확장하고 P_T′에 대한 관점에서 후퇴를 분석한다.
• O(sqrt(T(1+P_T)))의 전반적 동적 후퇴 상한을 보이는 증명을 제공한다.

실험 결과

연구 질문

• RQ1 온라인 컨벡스 최적화에서 일반적인 동적 후퇴의 미니맥스 하한은 무엇인가?
• RQ2 임의의 비교자 시퀀스에 대해 최적의 O(sqrt(T(1+P_T))) 동적 후퇴를 적응적으로 달성하는 알고리즘을 설계할 수 있는가?
• RQ3 후퇴 성능을 희생하지 않으면서 그래디언트 평가 횟수를 어떻게 줄일 수 있는가?
• RQ4 일련의 동적 모델 시퀀스를 프레임워크가 수용하고 P_T′에 관해 엄밀한 상한을 도출할 수 있는가?
• RQ5 최적의 후퇴를 보존하면서 동적 모델을 다루는 확장으로 어떤 것이 가능한가?

주요 결과

• Ader는 일반적인 동적 환경에서 최적의 O(sqrt(T(1+P_T))) 동적 후퇴를 달성한다.
• 일반적 동적 후퇴에 대해 Omega(sqrt(T(1+P_T)))의 하한이 확립되었다.
• 대리 손실을 사용하는 개선된 Ader가 라운드당 그래디언트 평가를 O(log T)에서 1로 줄인다.
• 대리 손실 변형을 사용할 때도 후퇴 한계는 여전히 O(sqrt(T(1+P_T)))이다.
• 수축 기반 동적 모델로의 확장은 O(sqrt(T(1+P_T′))) 동적 후퇴를 야기하며 이전 결과를 개선한다.
• 제한자의 경로 길이에 적응적으로 맞춰져 비교자가 천천히 움직일수록 경계가 축소된다.]