[논문 리뷰] Horizon-Independent Optimal Prediction with Log-Loss in Exponential Families

Peter L. Bartlett, Peter Grünwald외 3명|arXiv (Cornell University)|2013. 05. 19.

Advanced Bandit Algorithms Research참고 문헌 14인용 수 9

한 줄 요약

이 논문은 로그 손실 하에서 순차적 정규화된 최대우도(SNML) 예측 전략이 교환 가능하고 시간 범위에 영향을 받지 않는 유일한 한 매개변수 지수형족은 가우시안, 감마, Tweedie(3/2)뿐임을 규명한다. 저자들은 SNML이 오직 이러한 가족에서만 최소최대 조건부 NML(CNML) 전략과 일치함을 증명하며, 이는 시간 범위에 대한 사전 지식이 없이도 제프리스의 사전을 사용한 베이지안 예측이 최적임을 의미한다.

ABSTRACT

We study online learning under logarithmic loss with regular parametric models. Hedayati and Bartlett (2012b) showed that a Bayesian prediction strategy with Jeffreys prior and sequential normalized maximum likelihood (SNML) coincide and are optimal if and only if the latter is exchangeable, and if and only if the optimal strategy can be calculated without knowing the time horizon in advance. They put forward the question what families have exchangeable SNML strategies. This paper fully answers this open problem for one-dimensional exponential families. The exchangeability can happen only for three classes of natural exponential family distributions, namely the Gaussian, Gamma, and the Tweedie exponential family of order 3/2. Keywords: SNML Exchangeability, Exponential Family, Online Learning, Logarithmic Loss, Bayesian Strategy, Jeffreys Prior, Fisher Information1

연구 동기 및 목표

• 로그 손실 하에서 시간 범위에 영향을 받지 않는 최적의 예측 전략을 허용하는 한 매개변수 지수형족을 규명하는 것.
• 순차적 정규화된 최대우도(SNML) 전략이 조건부 정규화된 최대우도(CNML) 전략과 일치하는지에 대한 열린 문제를 해결하는 것.
• SNML이 교환 가능해지도록 하는 지수형족을 특성화하는 것.
• 오직 세 가지 가족—가우시안, 감마, Tweedie(3/2)—만이 시간-불변 최적성에 필수적인 교환 가능성 조건을 만족시킴을 밝히는 것.
• 이 가족들에 대해 제프리스의 사전을 사용한 베이지안 예측이 시간 범위에 영향을 받지 않는 최소최대 위험을 달성함을 보이는 것.

제안 방법

• 일차원 지수형족에서 로그 손실 하에 SNML 전략의 교환 가능성 분석.
• 지수형족의 분산 함수 특성화를 활용해 SNML 교환 가능성에 필요한 조건 유도.
• 모리스의 이차 및 거듭제곱 형태 분산 함수를 갖는 지수형족 분류를 적용해 후보 가족 식별.
• 분산 함수의 형태를 통해 교환 가능성에 필요한 조건 유도하여 두 경우로 나누기: 이차형과 거듭제곱형(V(μ) ∝ μ^{3/2}).
• 오직 가우시안(이차 분산), 감마(이차 분산), Tweedie(3/2)(지수 3/2의 거듭제곱형 분산) 가족만이 필요한 조건을 만족함을 증명.
• SNML 교환 가능성은 최소최대 전략이 시간 범위에 영향을 받지 않음을 의미하며, 이러한 전략은 제프리스의 사전을 사용한 베이지안 예측과 일치함을 증명.

실험 결과

연구 질문

• RQ1 어느 한 매개변수 지수형족에서 SNML 예측 전략이 교환 가능할까?
• RQ2 SNML 전략이 최소최대 조건부 NML(CNML) 전략과 일치하는 조건은 무엇인가?
• RQ3 최적의 예측 전략이 시간 범위에 영향을 받지 않는다는 것은 언제인가, 즉 시간 범위에 대한 사전 지식이 필요하지 않은가?
• RQ4 어느 지수형족에서 제프리스의 사전을 사용한 베이지안 예측이 시간 의존 없이 최소최대 위험을 달성할 수 있는가?
• RQ5 최대 평균값 매개변수 공간을 갖는 지수형족의 완전한 특성화는 무엇인가, 이는 교환 가능한 SNML 전략을 지원하는가?

주요 결과

• SNML이 교환 가능한 유일한 한 매개변수 지수형족은 가우시안, 감마, Tweedie(3/2) 가족뿐이다.
• SNML 교환 가능성은 분산 함수가 이차형(가우시안 및 감마)이거나 μ^{3/2}에 비례할 때에만 성립한다(Tweedie(3/2)).
• 이 세 가족에 대해 SNML 전략은 최소최대 CNML 전략과 일치하므로, 시간 범위에 대한 사전 지식 없이도 최적의 예측이 가능하다.
• 이 가족들에 대해 제프리스의 사전을 사용한 베이지안 예측은 최소최대 위험을 달성하며, 그 결과 전략은 시간에 영향을 받지 않는다.
• 이 결과는 NML이 조건부가 아니면 항상 시간에 의존함을 시사하며, 오직 조건부 NML(또는 SNML)만이 시간 불변 최적성을 달성할 수 있음을 의미한다.
• 이 특성화는 세 기본 가족의 고정된 변환을 통해 얻어진 가족, 예를 들어 파레토, 라플라스, 레일리 분포 등으로 확장된다.