[논문 리뷰] Constant Regret, Generalized Mixability, and Mirror Descent

Zakaria Mhammedi, Robert C. Williamson|arXiv (Cornell University)|2018. 02. 01.

Advanced Bandit Algorithms Research인용 수 1

한 줄 요약

이 논문은 $Φ$-혼합 가능성($Φ$-mixability)을 규명하여, 일반화된 집합 알고리즘(GAA)이 전문가 조언을 통한 예측에서 일정한 손실을 기대할 수 있는 조건을 밝혀낸다. 또한 샤논 엔트로피($Σ$)가 근본적임을 증명하며, 모든 $Φ$-혼합 가능한 손실은 반드시 $Σ$-혼합 가능하며, GAA는 샤논 엔트로피를 사용할 경우 최소한의 최악의 경우 손실을 기대할 수 있음을 보이고, 미러 강하(mirror descent) 연결을 통해 새로운 적응형 GAA를 제안한다.

ABSTRACT

We consider the setting of prediction with expert advice; a learner makes predictions by aggregating those of a group of experts. Under this setting, and for the right choice of loss function and ``mixing'' algorithm, it is possible for the learner to achieve a constant regret regardless of the number of prediction rounds. For example, a constant regret can be achieved for \emph{mixable} losses using the \emph{aggregating algorithm}. The \emph{Generalized Aggregating Algorithm} (GAA) is a name for a family of algorithms parameterized by convex functions on simplices (entropies), which reduce to the aggregating algorithm when using the \emph{Shannon entropy} $\operatorname{S}$. For a given entropy $\Phi$, losses for which a constant regret is possible using the extsc{GAA} are called $\Phi$-mixable. Which losses are $\Phi$-mixable was previously left as an open question. We fully characterize $\Phi$-mixability and answer other open questions posed by \cite{Reid2015}. We show that the Shannon entropy $\operatorname{S}$ is fundamental in nature when it comes to mixability; any $\Phi$-mixable loss is necessarily $\operatorname{S}$-mixable, and the lowest worst-case regret of the extsc{GAA} is achieved using the Shannon entropy. Finally, by leveraging the connection between the \emph{mirror descent algorithm} and the update step of the GAA, we suggest a new \emph{adaptive} generalized aggregating algorithm and analyze its performance in terms of the regret bound.

연구 동기 및 목표

• 주어진 엔트로피 함수 $Φ$에 대해 일반화된 집합 알고리즘(GAA)을 통해 일정한 손실을 기대할 수 있는 손실의 집합을 규명하는 것.
• Reid 등(2015)이 제기한, 어떤 손실이 $Φ$-혼합 가능한지를 밝혀내는 열린 문제를 해결하는 것.
• 혼합 가능성과 손실 최소화에서 샤논 엔트로피($Σ$)의 근본적 역할를 확립하는 것.
• 미러 강하 프레임워크를 활용하여 개선된 손실 경계를 갖는 새로운 적응형 GAA를 설계하는 것.

제안 방법

• 확률 단체 위에서의 볼록 해석을 사용하여 $Φ$-혼합 가능성의 공식적 특성화를 도입한다.
• 주어진 엔트로피 $Φ$에 대해 GAA 프레임워크 내에서 일정한 손실 경계의 존재를 통해 $Φ$-혼합 가능성의 정의를 내린다.
• GAA 업데이트 규칙과 미러 강하 사이의 이중성 관계를 밝혀내며, $Φ$에 의해 유도되는 Bregman 산란도를 식별한다.
• Legendre-Fenchel 변환을 사용하여 $Φ$의 쌍대 함수를 유도함으로써 손실 경계 유도를 가능하게 한다.
• 모든 $Φ$-혼합 가능한 손실은 반드시 $Σ$-혼합 가능하다는 것을 증명하며, 여기서 $Σ$는 샤논 엔트로피이다.
• 과거의 손실 기반으로 동적으로 $Φ$를 선택함으로써, 미러 강하 원리를 기반으로 한 새로운 적응형 GAA를 제안한다.

실험 결과

연구 질문

• RQ1 주어진 볼록 엔트로피 함수 $Φ$에 대해 확률 단체 위에서 어떤 손실이 $Φ$-혼합 가능한가?
• RQ2 $Φ$-혼합 가능성과 $Σ$-혼합 가능성 사이에 근본적인 차이가 존재하는가? 여기서 $Σ$는 샤논 엔트로피이다.
• RQ3 GAA는 샤논 엔트로피를 사용할 경우 다른 엔트로피보다 최소한의 최악의 경우 손실을 기대할 수 있는가?
• RQ4 미러 강하 프레임워크를 어떻게 활용하여 개선된 손실 성능을 갖는 적응형 GAA를 설계할 수 있는가?
• RQ5 $Φ$의 선택과 GAA에서 도출되는 최종 손실 경계 사이의 관계는 무엇인가?

주요 결과

• 모든 $Φ$-혼합 가능한 손실은 반드시 $Σ$-혼합 가능하다는 것을 증명하여, 샤논 엔트로피가 혼합 가능성에 대한 보편적 하한임을 입증한다.
• GAA의 최악의 경우 손실은 샤논 엔트로피 $Σ$를 기저 엔트로피 함수로 사용할 경우 최소화된다.
• GAA 업데이트 규칙은 $Φ$에 의해 유도되는 Bregman 산란도에 대한 미러 강하 단계와 수학적으로 동일하다.
• 과거의 손실에 기반하여 동적으로 $Φ$를 선택함으로써, 비-i.i.d. 환경에서의 손실 성능을 향상시킨 새로운 적응형 GAA를 제안한다.
• Reid 등(2015)이 제기한 열린 문제를 완전히 해결하여 $Φ$-혼합 가능한 손실의 집합을 체계적으로 규명한다.