[논문 리뷰] On the Relation between Realizable and Nonrealizable Cases of the Sequence Prediction Problem

Daniil Ryabko|arXiv (Cornell University)|2010. 05. 31.

Machine Learning and Algorithms인용 수 6

한 줄 요약

이 논문은 다양한 손실 함수 하에서 순서 예측의 실현 가능하고 비실현 가능 케이스 사이의 형식적 관계를 수립한다. 예측 품질이 총 변동 거리로 측정될 경우 두 문제는 동치임을 보이며, 예상 평균 KL 발산 하에서는 서로 다름을 보인다. 주요 기여는 특정 클래스인 유한 기억성 및 정적 과정과 같은 클래스에 대해 존재 조건을 완전히 규명한 채로, 두 문제의 해가 주어진 측도 클래스의 가산 부분집합 위에서 베이즈 혼합으로 구성될 수 있음을 증명하는 것이다.

ABSTRACT

A sequence $x_1,\dots,x_n,\dots$ of discrete-valued observations is generated according to some unknown probabilistic law (measure) $μ$. After observing each outcome, one is required to give conditional probabilities of the next observation. The realizable case is when the measure $μ$ belongs to an arbitrary but known class $\mathcal C$ of process measures. The non-realizable case is when $μ$ is completely arbitrary, but the prediction performance is measured with respect to a given set $\mathcal C$ of process measures. We are interested in the relations between these problems and between their solutions, as well as in characterizing the cases when a solution exists and finding these solutions. We show that if the quality of prediction is measured using the total variation distance, then these problems coincide, while if it is measured using the expected average KL divergence, then they are different. For some of the formalizations we also show that when a solution exists, it can be obtained as a Bayes mixture over a countable subset of $\mathcal C$. We also obtain several characterization of those sets $\mathcal C$ for which solutions to the considered problems exist. As an illustration to the general results obtained, we show that a solution to the non-realizable case of the sequence prediction problem exists for the set of all finite-memory processes, but does not exist for the set of all stationary processes. It should be emphasized that the framework is completely general: the processes measures considered are not required to be i.i.d., mixing, stationary, or to belong to any parametric family.

연구 동기 및 목표

• 실현 가능하고 비실현 가능 순서 예측의 형식적 관계를 명확히 하기.
• 진짜 측도 μ가 반드시 클래스 C에 속하지 않을 경우에도 예측기가 존재하는 조건을 규명하기.
• 실현 가능 및 비실현 가능 설정 모두에서 해가 존재하는 집합 C를 특성화하기.
• 해가 존재할 경우, 이를 C의 가산 부분집합 위에서의 베이즈 혼합으로 구성할 수 있음을 보여주기.
• 유한 기억성 및 정적 과정과 같은 구체적 예시를 들어 이론을 설명하기.

제안 방법

• 논문은 총 변동 거리와 예상 평균 KL 발산을 손실 함수로 사용하여 실현 가능하고 비실현 가능 예측 문제를 비교한다.
• 정규화와 수렴을 보장하기 위해 정규화자 γ를 사용하여 C의 측도 혼합으로 예측기 ν를 구성한다.
• 가능도 비율 기반의 임계 집합 Tⁿⱼₙᵤ를 정의하고, 엔트로피 경계를 사용하여 μ와 ν 사이의 발산을 통제한다.
• 핵심 기술적 단계는 발산 dₙ(μ,ν) = o(n)임을 보이는 것으로, 이를 두 부분으로 분해한다: I(고가능도 집합에서), II(나머지에서), 둘 다 o(n)임을 증명한다.
• 정규화자 γ는 C의 가산 수의 측도의 볼록 조합으로 대체되어 예측기가 계산 가능하고 잘 정의됨을 보장한다.
• 증명은 가중치 wₙ의 수열을 구성하고, −log εₙᵤ = o(n)임을 이용하여 발산 항의 수렴을 확보하는 데 의존한다.

실험 결과

연구 질문

• RQ1 실현 가능하고 비실현 가능 순서 예측 문제가 어떤 조건에서 일치하는가?
• RQ2 손실 함수 선택 — 총 변동 거리 대비 예상 평균 KL 발산 — 이 두 문제의 동치성에 어떤 영향을 미치는가?
• RQ3 비실현 가능성 케이스에서 예측기가 존재하는 클래스 C는 무엇인가?
• RQ4 순서 예측 문제의 해가 C의 가산 부분집합 위에서의 베이즈 혼합으로 구성될 수 있는가?
• RQ5 실현 가능 및 비실현 가능 설정 모두에서 예측기 존재를 위한 필요 및 충분 조건은 무엇인가?

주요 결과

• 손실이 총 변동 거리로 측정될 경우 실현 가능하고 비실현 가능 순서 예측의 두 경우가 동치이다.
• 손실이 예상 평균 KL 발산으로 측정될 경우 두 문제 사이에는 근본적인 차이가 존재한다.
• 해가 존재할 경우, 두 문제의 해는 C의 가산 부분집합 위에서의 베이즈 혼합으로 구성될 수 있다.
• 비실현 가능성 케이스에서 해가 존재하는 경우, C가 유한 기억성 과정의 집합일 때 성립한다.
• 비실현 가능성 케이스에서 해가 존재하지 않는 경우, C가 모든 정적 과정의 집합일 때 성립하지 않는다.
• 구성된 예측기 ν 하에서 발산 dₙ(μ,ν)는 평균적으로 0으로 수렴한다 (즉, dₙ(μ,ν)/n → 0), 이는 점근적 일致성을 확인한다.