[논문 리뷰] Exp-Concavity of Proper Composite Losses

Parameswaran Kamalaruban, Robert C. Williamson외 1명|arXiv (Cornell University)|2018. 05. 20.

Advanced Bandit Algorithms Research참고 문헌 19인용 수 6

한 줄 요약

이 논문은 적절한 복합 손실에 대한 exp-concavity를 완전히 특성화하며, 임의의 β-혼합가능한 이진 적절한 손실이 적절한 연결 함수를 통해 β-exp-concave 복합 손실로 변환될 수 있음을 보여준다. 주요 기여는 기하학적 및 미적분 기반 방법을 통해 그러한 연결 함수를 구성하는 것으로, 이는 가중 평균 알고리즘을 사용한 온라인 학습에서 O(1)의 오차 경계를 가능하게 하며, 근사 기반으로 다중 클래스 설정으로의 확장도 가능하다.

ABSTRACT

The goal of online prediction with expert advice is to find a decision strategy which will perform almost as well as the best expert in a given pool of experts, on any sequence of outcomes. This problem has been widely studied and $O(\sqrt{T})$ and $O(\log{T})$ regret bounds can be achieved for convex losses (\cite{zinkevich2003online}) and strictly convex losses with bounded first and second derivatives (\cite{hazan2007logarithmic}) respectively. In special cases like the Aggregating Algorithm (\cite{vovk1995game}) with mixable losses and the Weighted Average Algorithm (\cite{kivinen1999averaging}) with exp-concave losses, it is possible to achieve $O(1)$ regret bounds. \cite{van2012exp} has argued that mixability and exp-concavity are roughly equivalent under certain conditions. Thus by understanding the underlying relationship between these two notions we can gain the best of both algorithms (strong theoretical performance guarantees of the Aggregating Algorithm and the computational efficiency of the Weighted Average Algorithm). In this paper we provide a complete characterization of the exp-concavity of any proper composite loss. Using this characterization and the mixability condition of proper losses (\cite{van2012mixability}), we show that it is possible to transform (re-parameterize) any $β$-mixable binary proper loss into a $β$-exp-concave composite loss with the same $β$. In the multi-class case, we propose an approximation approach for this transformation.

연구 동기 및 목표

• 이진 및 다중 클래스 설정에서 적절한 복합 손실에 대한 exp-concavity의 완전한 특성화를 수립하는 것.
• β-혼합가능한 적절한 손실이 재매개변수화되어 β-exp-concave 복합 손실이 되도록 함으로써 혼합가능성과 exp-concavity 사이의 격차를 메우는 것.
• exp-concavity를 보장하면서도 적절성을 유지하는 연결 함수를 구성하기 위한 기하학적 및 미적분 기반 방법을 개발하는 것.
• 닫힌 형태의 해가 항상 가능한 것은 아니므로, 매개변수 ε를 사용한 기하학적 근사 접근법을 통해 다중 클래스 손실로의 일반화를 수행하는 것.
• 제안된 연결 함수를 통해 변환된 후, 비-exp-concave이지만 β-혼합가능한 손실에 대해 가중 평균 알고리즘이 O(1)의 오차를 달성할 수 있음을 보여주는 것.

제안 방법

• van Erven (2012)의 영감을 받은 기하학적 구성 방법을 사용하여, β-혼합가능한 이진 적절한 손실을 β-exp-concave 복합 손실로 변환하는 연결 함수를 유도한다.
• 로그 손실과 목표 손실의 가중 함수 비율을 사용한 미적분 기반 접근을 통해 다른 연결 함수를 유도한다.
• 베이즈 위험과 연결 함수의 관계로 다중 클래스 적절한 복합 손실의 exp-concavity 조건을 수립한다.
• 예측 공간 Δⁿ의 부분집합 Sε에서의 혼합가능한 손실을 변환하는 기하학적 근사 방법(정리 2)을 제안하여, 충분히 작은 ε에 대해 exp-concavity를 보장한다.
• 특정 손실들(예: 제곱 손실, 부스팅 손실, 로그 손실)에 변환을 적용하여 exp-concavity를 검증하고, 결과적으로 얻는 β 매개변수를 계산한다.
• Van Erven 등 (2012)의 혼합가능성 조건을 사용하여 원래 손실의 혼합가능성과 변환된 복합 손실 간의 관계를 규명한다.

실험 결과

연구 질문

• RQ1 임의의 β-혼합가능한 이진 적절한 손실이 적절한 연결 함수를 통해 β-exp-concave 복합 손실로 변환될 수 있는가?
• RQ2 이진 적절한 복합 손실에 대해 β-exp-concavity를 달성하는 명시적 형태의 연결 함수는 무엇인가?
• RQ3 닫힌 형태의 해가 항상 가능한 것은 아니므로, 다중 클래스 적절한 복합 손실로의 변환은 어떻게 일반화할 수 있는가?
• RQ4 혼합가능성 상수 β와 변환 후 얻는 exp-concavity 매개변수 사이의 관계는 무엇인가?
• RQ5 제안된 연결 함수를 통해 변환된 후, 비-exp-concave이지만 β-혼합가능한 손실에 대해 가중 평균 알고리즘이 O(1)의 오차를 달성할 수 있는가?

주요 결과

• 이진 적절한 손실의 경우, 기하학적 구성(정리 1)과 미적분 기반 방법(보조정리 8)을 통해 β-혼합가능한 손실을 β-exp-concave 복합 손실로 변환하는 명시적 연결 함수를 도출할 수 있다.
• 제곱 손실에 대해 기하학적 방법으로 유도된 연결 함수는 1-exp-concave이며, 동일한 손실에 대해 미적분 기반으로 유도된 연결 함수 역시 1-exp-concave이다.
• 2-혼합가능한 이진 부스팅 손실의 경우, 제안된 연결 함수를 통해 2-exp-concave 복합 손실을 도출할 수 있으며, 이는 가중 평균 알고리즘을 통한 O(1) 오차 달성을 가능하게 한다.
• 다중 클래스의 경우, 제안된 근사 접근법을 통해 충분히 작은 ε에 대해 모든 예측이 Sε에 속하게 되며, 이에 따라 ε-근사적 β-exp-concave 복합 손실의 구성이 가능하다.
• 로그 손실은 1-혼합가능하고 1-exp-concave임을 입증하였으며, 이에 대해 유도된 연결 함수는 각각 항등함수와 선형 함수로 간소화된다.
• 논문은 exp-concavity가 혼합가능성을 함의하며, 재매개변수화를 통해 혼합가능성이 exp-concavity로 변환될 수 있음을 확인함으로써, 집계 알고리즘과 가중 평균 알고리즘의 이론적 보장을 통합한다.