[논문 리뷰] Recursive Experts: An Efficient Optimal Mixture of Learning Systems in Dynamic Environments

Kaan Gökcesu, Hakan Gökcesu|arXiv (Cornell University)|2020. 09. 19.

Advanced Bandit Algorithms Research참고 문헌 47인용 수 6

한 줄 요약

이 논문은 동적 환경에서 최소최대 최적의 손실을 달성하는 단일 적응형 알고리즘으로 다수의 순차적 학습 시스템을 효율적으로 융합하는 새로운 프레임워크인 Recursive Experts를 제안한다. 로그 수준의 계산 오버헤드를 사용하여 초전문가들을 순환적으로 조합함으로써, 환경이 임의로 예측 불가능하게 변화하더라도 $O(C^\alpha T^{1-\alpha})$의 손실을 달성하며, 이는 이론적 하한선에 상수 인자 수준에서 근접한다.

ABSTRACT

Sequential learning systems are used in a wide variety of problems from decision making to optimization, where they provide a 'belief' (opinion) to nature, and then update this belief based on the feedback (result) to minimize (or maximize) some cost or loss (conversely, utility or gain). The goal is to reach an objective by exploiting the temporal relation inherent to the nature's feedback (state). By exploiting this relation, specific learning systems can be designed that perform asymptotically optimal for various applications. However, if the framework of the problem is not stationary, i.e., the nature's state sometimes changes arbitrarily, the past cumulative belief revision done by the system may become useless and the system may fail if it lacks adaptivity. While this adaptivity can be directly implemented in specific cases (e.g., convex optimization), it is mostly not straightforward for general learning tasks. To this end, we propose an efficient optimal mixture framework for general sequential learning systems, which we call the recursive experts for dynamic environments. For this purpose, we design hyper-experts that incorporate the learning systems at our disposal and recursively merge in a specific way to achieve minimax optimal regret bounds up to constant factors. The multiplicative increases in computational complexity from the initial system to our adaptive system are only logarithmic-in-time factors.

연구 동기 및 목표

• 기존 순차적 학습 시스템이 오래된 믿음 업데이트로 인해 성능이 떨어지는 비정상적이고 변화가 빠른 환경에서 최적의 성능을 유지하는 데 도전하는 것.
• 문제에 특화된 재설계 없이도 다수의 학습 시스템을 적응적으로 융합할 수 있는 일반 목적의 프레임워크를 설계하는 것.
• 기본 학습 시스템에 비해 로그 수준의 계산 오버헤드만을 유발하면서도 동적 환경에서 최소최대 최적의 손실 경계를 달성하는 것.
• 초전문가들이 실시간으로 환경 변화에 따라 동적으로 재구성되고 반응할 수 있도록 허용하는 순환 융합 메커니즘을 개발하는 것.

제안 방법

• 프레임워크는 계층적이고 나무 구조를 띠는 구조를 통해 다수의 기본 학습 시스템을 초전문가들이 순환적으로 융합함으로써 적응성을 유지한다.
• 시간 세그먼트 기반 접근 방식을 사용하여 각 세그먼트는 손실 $O(t_c^{1-\alpha})$를 보장하는 기본 알고리즘으로 처리되며, 국소 최적성을 확보한다.
• 2의 거듭제곱 간격을 사용하여 다양한 시간 스케일에서의 기본 알고리즘 출력을 순환적으로 융합함으로써 탐색과 적응의 균형을 이룬다.
• 혼합 손실에서 $O(\sqrt{CT})$의 부피를 기여하고, 기본 알고리즘 성능을 조합함으로써 총 손실이 $O(C^\alpha T^{1-\alpha})$가 되도록 함으로써, 이는 혼합 및 기본 알고리즘 성능을 통합한다.
• 환경 변화에 따라 믿음 시스템을 동적으로 재설정하고 재구성함으로써 오래된 믿음이 성능 저하를 일으키지 않도록 보장한다.
• 이론적 분석을 통해 총 손실이 상수 인자 수준에서 최소최대 최적임을 증명하였으며, 계산 복잡도는 오직 $\log(T)$ 요인만 증가한다.

실험 결과

연구 질문

• RQ1 최소한의 계산 오버헤드로 동적 환경에서 다수의 순차적 학습 시스템을 최적으로 융합할 수 있는 일반 목적의 프레임워크를 설계할 수 있는가?
• RQ2 환경이 임의로 비정상적으로 변화하더라도 최소최대 최적의 손실 경계를 유지할 수 있는가?
• RQ3 어떤 순환 융합 전략이 개별 기본 알고리즘의 손실 성능을 유지하면서도 효율적인 적응을 가능하게 하는가?
• RQ4 비정상적 환경에서 최적의 손실을 유지하면서도 적응 학습의 계산 비용을 얼마나 줄일 수 있는가?

주요 결과

• Recursive Experts 알고리즘은 알려진 시간 범위 $T$와 $C$개의 변화점에 대해 $O(C^\alpha T^{1-\alpha})$의 손실을 달성하며, 이는 이론적 하한선에 상수 인자 수준에서 근접한다.
• 기본 학습 시스템에 비해 계산 복잡도는 오직 $\log(T)$ 요인만 증가하여 매우 효율적이다.
• 혼합 성분은 $O(\sqrt{CT})$의 손실을 기여하고, 기본 알고리즘 성분은 $O(C^\alpha T^{1-\alpha})$의 손실을 기여하며, 후자가 전체 경계를 지배하고 전체 경계를 결정한다.
• 이 프레임워크는 동적 환경에서 최소최대 최적이며, 비적응형 또는 단순 융합된 시스템보다 비정상적 환경에서 뛰어난 성능을 발휘한다.
• 순환 융합 메커니즘은 환경 변화 이후에도 믿음 업데이트가 관련성이 유지되도록 보장하여 오래된 누적 업데이트로 인한 정체를 방지한다.
• 이 방법은 다양한 학습 시스템으로 일반화되며, 문제에 특화된 튜닝이 필요 없어 순차적 의사결정 및 온라인 학습 작업 전반에 널리 적용 가능하다.