[논문 리뷰] Integral Mixabilty: a Tool for Efficient Online Aggregation of Functional and Probabilistic Forecasts.

Alexander Korotin, Vladimir V. V’yugin외 1명|arXiv (Cornell University)|2019. 12. 15.

Statistical Mechanics and Entropy참고 문헌 58인용 수 6

한 줄 요약

이 논문은 온라인 학습에서 함수값 예측을 통합하기 위해 혼합 가능성(mixability)과 지수적으로 볼록한 손실 함수의 새로운 변형인 적분 혼합 가능성(integral mixability)을 소개한다. 핵심 확률적 평가 규칙들, 특히 Sliced CRPS, Energy Distance, Sliced Wasserstein-2가 적분 혼합 가능하다는 것을 증명함으로써, 이에 대한 이론적 보장을 갖는 효율적인 온라인 통합이 가능해진다.

ABSTRACT

In this paper we extend the setting of the online prediction with expert advice to function-valued forecasts. At each step of the online game several experts predict a function, and the learner has to efficiently aggregate these functional forecasts into a single forecast. We adapt basic mixable (and exponentially concave) loss functions to compare functional predictions and prove that these adaptations are also mixable (exp-concave). We call this phenomena integral mixability (exp-concavity). As an application of our main result, we prove that various loss functions used for probabilistic forecasting are mixable (exp-concave). The considered losses include Sliced Continuous Ranking Probability Score, Energy-Based Distance, Optimal Transport Costs & Sliced Wasserstein-2 distance, Beta-2 & Kullback-Leibler divergences, Characteristic function and Maximum Mean Discrepancies.

연구 동기 및 목표

• 전문가가 스칼라 예측이 아닌 전체 함수를 제공하는 기능적 예측으로 온라인 예측에 전문가 조언을 확장한다.
• 최소한의 오차를 갖는 온라인 환경에서 기능적 예측을 효율적으로 통합하는 문제에 대응한다.
• 기능적 손실 함수를 온라인 통합에 사용하기 위한 이론적 기반을 마련하기 위해, 그 혼합 가능성과 지수 볼록성(exp-concavity)을 증명한다.
• 일반적으로 사용되는 확률적 평가 규칙들이 적분 혼합 가능하다는 것을 보여주어, 이들가 온라인 학습 프레임워크에서 활용 가능하게 한다.

제안 방법

• 함수 공간에 대해 통합함으로써 표준 혼합 가능 및 지수적으로 볼록한 손실 함수를 기능적 예측에 적응시킨다.
• 적분 혼합 가능성은 하위선형 오차를 갖는 Bregman 발산 기반의 통합 규칙 존재를 보장하는 성질로 정의된다.
• 적분 변환 하에서 적응된 손실 함수가 여전히 혼합 가능(또한 지수 볼록)함을 증명하여 이론적 보장을 유지한다.
• Sliced CRPS, Energy Distance, 최적 운반 기반 발산과 같은 특정 기능적 손실 함수에 이 프레임워크를 적용한다.
• 적분 혼합 가능성 성질을 활용하여 하위선형 오차 경계를 갖는 온라인 통합 알고리즘을 유도한다.
• 특성 함수와 최대 평균 차이(MMD)를 도구로 사용하여 특정 기능 예측 클래스에 대한 적분 혼합 가능성 검증

실험 결과

연구 질문

• RQ1 표준 혼합 가능 및 지수적으로 볼록한 손실 함수를 기능적 예측으로 확장하면서도 이론적 성질을 유지할 수 있는가?
• RQ2 기능 예측에 일반적으로 사용되는 확률적 평가 규칙 중 적분 혼합 가능한 것은 무엇인가?
• RQ3 적분 혼합 가능성은 기능 예측 설정에서 하위선형 오차를 갖는 효율적인 온라인 통합을 가능하게 하는가?
• RQ4 적분 혼합 가능성 성질은 Sliced Wasserstein-2 및 Kullback-Leibler 발산과 같은 기존의 발산과 어떻게 관련이 있는가?
• RQ5 특성 함수와 MMD 기반 발산을 사용하여 비모수적 기능 예측에 이 프레임워크를 적용할 수 있는가?

주요 결과

• 논문은 Sliced Continuous Ranking Probability Score(Sliced CRPS)가 적분 혼합 가능하다는 것을 입증하여, 이에 대한 오차 보장을 갖는 온라인 통합에 활용 가능함을 보였다.
• 에너지 기반 거리와 최적 운반 비용, Sliced Wasserstein-2를 포함한 발산들이 적분 혼합 가능하다는 것이 입증되어, 온라인 학습에의 적용 범위가 확장되었다.
• 적절한 기능 제약 조건 하에서 Beta-2 및 Kullback-Leibler 발산이 적분 혼합 가능하다는 것이 증명되었다.
• 특성 함수와 최대 평균 차이(MMD)의 사용은 비모수적 설정에서 적분 혼합 가능성 검증이 가능하게 하였다.
• 프레임워크는 기능 예측의 온라인 통합이 하위선형 오차를 달성하며, 이론적 수렴 보장을 제공한다.
• 표준 손실 함수를 기능적 예측 설정에 적응함으로써, 효율적 학습에 필요한 핵심 성질인 지수 볼록성과 Bregman 발산 호환성 등이 유지됨을 보였다.