[논문 리뷰] A Generalized Online Algorithm for Translation and Scale Invariant Prediction with Expert Advice

Kaan Gökcesu, Hakan Gökcesu|arXiv (Cornell University)|2020. 09. 09.

Advanced Bandit Algorithms Research참고 문헌 30인용 수 7

한 줄 요약

이 논문은 전문가 손실의 이동 및 스케일에 영향을 받지 않는 제2차 회귀 한계를 확보하는 일반화된 온라인 알고리즘을 제시한다. 동치 클래스를 활용하여 전략을 그룹화하고 유니버설 예측 프레임워크를 적용함으로써, 손실 시계열에 대한 사전 지식 없이도 임의의 전문가 선택 전략에 대해 효율적으로 경쟁할 수 있으며, 이는 악성 환경에서의 강건성과 확장성 보장한다.

ABSTRACT

In this work, we aim to create a completely online algorithmic framework for prediction with expert advice that is translation-free and scale-free of the expert losses. Our goal is to create a generalized algorithm that is suitable for use in a wide variety of applications. For this purpose, we study the expected regret of our algorithm against a generic competition class in the sequential prediction by expert advice problem, where the expected regret measures the difference between the losses of our prediction algorithm and the losses of the 'best' expert selection strategy in the competition. We design our algorithm using the universal prediction perspective to compete against a specified class of expert selection strategies, which is not necessarily a fixed expert selection. The class of expert selection strategies that we want to compete against is purely determined by the specific application at hand and is left generic, which makes our generalized algorithm suitable for use in many different problems. We show that no preliminary knowledge about the loss sequence is required by our algorithm and its performance bounds, which are second order, expressed in terms of sums of squared losses. Our regret bounds are stable under arbitrary scalings and translations of the losses.

연구 동기 및 목표

• 전문가 손실의 이동 및 스케일에 불변인, 완전히 온라인인 일반화된 알고리즘 프레임워크를 개발하는 것.
• 지수적 계산 비용 없이도 동적 또는 변화하는 전략을 포함한 임의의 전문가 선택 전략에 대해 효율적으로 경쟁할 수 있도록 하는 것.
• 회귀 한계를 제2차 통계(제곱 손실 합)에만 의존하도록 유도함으로써 다양한 응용 분야에서의 안정성과 보편성 확보.
• 손실 범위나 손실 시계열에 대한 통계적 가정에 대한 사전 지식이 필요 없도록 하는 것.
• 유사한 전략을 동치 클래스로 묶음으로써 복잡한 전략 클래스에 대해 확장 가능하고 다룰 수 있는 방법 제공

제안 방법

• 응용 맥락에 따라 정의된 일반적인 전문가 선택 전략 경쟁 클래스에 대비해 유니버설 예측 관점에서 접근한다.
• 유사한 행동을 보이는 전략을 그룹화하기 위해 동치 클래스를 도입함으로써 계산 복잡도를 지수적 수준에서 다룰 수 있는 수준으로 감소시킨다.
• 손실 분산과 범위에 기반한 동적 갱신 가중치를 사용하는 가중 평균 기반의 핵심 메커니즘을 적용하여 임의의 스케일링 및 이동에 대해 안정성을 확보한다.
• 회귀 분석은 제곱 손실 합과 라운드 간 최대 손실 범위를 포함하는 제2차 경계에 기반한다.
• 손실 시계열에 대한 사전 지식이 필요 없는 파rameter-free 설계를 통해 조정이 필요 없도록 한다.
• 전략 상태 간 전이를 모델링하기 위해 변환 함수 $ T(\lambda_{t+1}|\lambda_t) $ 를 적용하여 고정 이동률을 갖는 전략과 같은 변화하는 전략을 추적할 수 있다.

실험 결과

연구 질문

• RQ1 전문가 손실의 이동 및 스케일에 불변하는 온라인 알고리즘을 설계할 수 있는가?
• RQ2 지수적 계산 비용 없이도 광범위한 전문가 선택 전략 클래스에 대해 효율적으로 경쟁할 수 있는가?
• RQ3 손실 시계열에 대한 사전 지식이 없을 경우 이러한 알고리즘의 성능 보장을 어떻게 도출할 수 있는가?
• RQ4 손실 분포에 대한 가정 없이도 제2차 회귀 한계를 완전히 온라인이고 보편적인 방식으로 달성할 수 있는가?
• RQ5 재현을 최소화하면서도 변화하는 전략에 대해 경쟁 성능를 유지하기 위해 동치 클래스를 어떻게 구성할 수 있는가?

주요 결과

• 알고리즘은 이동 자유 및 스케일 자유인 제2차 회귀 한계를 확보하며, 이는 제곱 손실 합과 최대 손실 범위에만 의존한다.
• 회귀 한계는 $ W_T D_T + 2.4 \sqrt{W_T V_T^*} $ 로 표현되며, 여기서 $ W_T $ 는 가중치 복잡도, $ D_T $ 는 총 손실 범위, $ V_T^* $ 는 손실 분산의 합이다.
• 고정 이동률을 갖는 전략에 대비할 경우, 한계는 $ (1 + 2\log M) D_T + 2.4 \sqrt{(1 + 2\log M) V_T^*} $ 로 단순화되며, $ M $ 명의 전문가와 $ T $ 라운드가 존재한다.
• 유사 전략을 동치 클래스로 묶음으로써 복잡한 전략 클래스에 대해 확장 가능한 경쟁이 가능해지며, 낭만적 접근의 $ M^T $ 폭발을 피할 수 있다.
• 손실이 악성 또는 비정상적일 경우에도 알고리즘이 효과적으로 작동하며, 손실 시계열에 대한 통계적 가정이 필요하지 않다.
• 알고리즘은 파rameter-free이며 손실의 범위나 분산에 대한 사전 지식이 필요 없어 다양한 응용 분야에 보편적으로 적용 가능하다.