[논문 리뷰] On Finding Predictors for Arbitrary Families of Processes

Daniil Ryabko|arXiv (Cornell University)|2009. 12. 24.

Computability, Logic, AI Algorithms참고 문헌 16인용 수 3

한 줄 요약

이 논문은 임의의 확률과정 가족 𝒞에 대해, 진짜 측도 μ로의 총변화 수렴을 보장하는 보편 예측자가 존재한다면, 이는 이산 사전을 가진 베이지안 예측자 역시 존재하며 동일한 성능을 달성할 수 있음을 증명한다. 주요 기여는 이러한 예측자가 존재할 조건을 특성화한 것으로, 존재성은 𝒞의 위상적 성질과 국소적 행동 조건으로 귀결되며, 채널 용량 분석 또는 NML 기반 방법을 통해 예측자를 구성할 수 있음을 보여준다. 특히 용량이 비선형적으로 증가할 경우에 해당한다.

ABSTRACT

The problem is sequence prediction in the following setting. A sequence $x_1,...,x_n,...$ of discrete-valued observations is generated according to some unknown probabilistic law (measure) $μ$. After observing each outcome, it is required to give the conditional probabilities of the next observation. The measure $μ$ belongs to an arbitrary but known class $C$ of stochastic process measures. We are interested in predictors $ρ$ whose conditional probabilities converge (in some sense) to the "true" $μ$-conditional probabilities if any $μ\in C$ is chosen to generate the sequence. The contribution of this work is in characterizing the families $C$ for which such predictors exist, and in providing a specific and simple form in which to look for a solution. We show that if any predictor works, then there exists a Bayesian predictor, whose prior is discrete, and which works too. We also find several sufficient and necessary conditions for the existence of a predictor, in terms of topological characterizations of the family $C$, as well as in terms of local behaviour of the measures in $C$, which in some cases lead to procedures for constructing such predictors. It should be emphasized that the framework is completely general: the stochastic processes considered are not required to be i.i.d., stationary, or to belong to any parametric or countable family.

연구 동기 및 목표

• 임의의 가족의 확률과정에 대해 보편 예측자가 존재할 조건을 규명하는 것.
• 총변화 수렴 예측이 가능한 측도 가족 𝒞를 특성화하는 것.
• 어떤 예측자도 작동한다면, 이는 이산 사전을 가진 베이지안 예측자 역시 작동함을 보여주는 것.
• 국소적 행동과 채널 용량에 기반한 예측자 존재에 대한 구조적 충분조건을 제공하는 것.
• 베이지안 예측의 적용 범위를 가чёт하거나 매개변수화된 가족을 초월해 확장하는 것.

제안 방법

• 가족 𝒞의 측도에 대해 예측자가 존재한다면, 이는 이산 사전을 가진 베이지안 예측자 역시 존재하고, 모든 μ ∈ 𝒞에 대해 총변화 수렴을 달성함을 증명하는 것.
• 예측자 존재에 대한 충분조건으로서 𝒞의 위상적 분리성( separability )을 사용하지만, 필수 조건은 아님.
• 유한한 수순(길이 n)으로 잘라낸 측도의 국소적 행동을 분석하여, 예측자 구성에 필요한 충분조건를 도출하는 것.
• 특히 채널 용량 C(𝒞ⁿ)를 정보이론적 도구로 활용하여 예측자의 가능성을 평가: 비선형 증가 시 구성 가능함.
• 채널 용량이 비선형적일 경우, NML(정규화된 최대우도) 추정치를 통해 예측자를 구성하는 것.
• 약한 융합과 총변화 수렴에 관한 알려진 결과들(예: Blackwell-Dubins, Kalai-Lehrer)을 활용하여 수렴 조건을 도출하는 것.

실험 결과

연구 질문

• RQ1 확률과정 가족 𝒞에 대해 보편 예측자가 존재할 조건은 무엇인가? 이는 진짜 측도로의 총변화 수렴을 보장한다.
• RQ2 가족 𝒞에 대해 보편 예측자가 존재한다면, 이는 이산 사전을 가진 베이지안 예측자 존재로 환원될 수 있는가?
• RQ3 측도 가족 𝒞의 어떤 위상적 또는 국소적 구조적 성질이 예측자 존재를 보장하는가?
• RQ4 채널 용량 C(𝒞ⁿ)는 예측자 구성 가능성과 어떻게 관련되는가?
• RQ5 예측자 구성은 NML 추정치 또는 유사한 정보이론적 양에 환원될 수 있는가?

주요 결과

• 어떤 예측자도 가족 𝒞에 대해 작동한다면, 이는 이산 사전을 가진 베이지안 예측자 역시 작동함을 보여, 일반 설정에서 베이지안 접근의 타당성을 뒷받침한다.
• 𝒞의 위상적 분리성은 예측자 존재에 대한 충분조건이지만, 필수 조건은 아니다.
• 채널 용량 C(𝒞ⁿ)가 n에 대해 비선형적으로 증가할 경우, 예측자를 구성할 수 있다. 예를 들어, 모든 i.i.d. 베르누이 과정에서 그러한 경우가 성립한다.
• 모든 정상과정의 가족에 대해서는 C(𝒞ⁿ)가 선형적으로 증가하므로, 비선형 조건이 실패하며, 이 방법으로는 그러한 예측자를 구성할 수 없다.
• 측도 𝒞의 국소적 행동, 특히 유한 수순에서의 절단된 분포를 통해 예측자 존재에 대한 충분조건를 도출할 수 있다.
• 결과는 총변화 외의 다른 거리 척도(예: KL 발산)로의 예측에도 확장 가능하며, 본 논문은 총변화를 중심으로 다루지만 향후 다른 성능 척도에 대한 연구 기반을 마련한다.