[논문 리뷰] L-Divergence Consistency for a Discrete Prior

Marian Grendár|ArXiv.org|2006. 10. 27.

Computability, Logic, AI Algorithms참고 문헌 5인용 수 4

한 줄 요약

이 논문은 수치적 집합 위의 연속적 데이터 샘플링 밀도에 대한 이산 사전 분포에 대해 L-차이수에서 사후 분포의 거의 확실한 일致성을 확립한다. 사후 분포는 참 분포의 모형 집합 위의 L-투영에 집중하며, 다중 L-투영이 존재할 경우 동일한 점근적 확률 질량이 각각에 균등하게 분배됨을 보여준다.

ABSTRACT

Posterior distribution over a countable set M of continuous data-sampling distributions piles up at L-projection of the true distribution r on M, provided that the L-projection is unique. If there are several L-projections of r on M, then the posterior probability splits among them equally.

연구 동기 및 목표

• 연속 밀도의 가 countable 모형 집합 위의 이산 사전에 대해 L-차이수에서 거의 확실한 사후 일치성을 확립하는 것.
• 참 분포가 모형 집합에 포함되지 않을 경우(모형 불일치 시) 사후 집중 행동을 조사하는 것.
• 참 분포의 다중 L-투영이 존재할 경우 사후 확률이 점차적으로 어떻게 분포되는지 규명하는 것.
• 일반 조건(불일치 포함) 하에서 L-차이수에서의 사후 일치성에 대해 대 deviations 기반 증명을 제공하는 것.
• L-차이수와 L-투영이 베이지안 비모수 일치성에서 수행하는 역할을 확장하고 명확히 하는 것.

제안 방법

• 사후 확률의 점근적 행동을 분석하기 위해 대 deviations 접근법을 사용한다.
• 모형 집합의 부분집합에 대한 사후 확률의 지수 감쇠율을 도출하기 위해 소나브의 정리(소스용, L-ST)를 적용한다.
• L-차이수를 $ L(q||p) = -\int p \log q $ 로 정의하고, L-투영을 $ \hat{q} = \arg\min_{q \in \mathcal{Q}} L(q||p) $ 로 정의한다.
• 사후 확률의 $ \frac{1}{n} \log \pi(q \in \mathcal{N} \mid x^n) $ 가 거의 확실하게 $ -\{ L(\mathcal{N}||r) - L(\mathcal{M}^e||r) \} $ 로 수렴함을 증명한다.
• 마르코프 부등식과 슬러츠티의 정리를 사용하여 L-투영 주변의 사후 질량의 점근적 행동을 분석한다.
• 동일 농도 개념을 도입: 다중 L-투영이 존재할 경우, 사후 분포는 각각에 대해 동일한 점근적 확률을 할당한다.

실험 결과

연구 질문

• RQ1 L-차이수에서 참 분포의 L-투영에 사후 분포가 집중하는 조건은 무엇인가?
• RQ2 참 분포가 모형 집합에 포함되지 않을 경우(불일치 시) 사후 분포는 어떻게 행동하는가?
• RQ3 참 분포의 다중 L-투영이 존재할 경우 사후 분포는 어떻게 되는가?
• RQ4 다중 L-투영에 대한 사후 질량의 점근적 분포를 특성화할 수 있는가?
• RQ5 엄격히 양의 이산 사전 조건 하에서, 불일치 조건 하에서도 L-차이수에서의 사후 일치성이 보장되는가?

주요 결과

• 사후 분포는 L-차이수에서 거의 확실하게 일치한다: 참 분포 $ r $ 이 모형 집합 $ \mathcal{M}^e $ 위의 L-투영에 집중된다.
• 만약 $ r $ 의 $ \mathcal{M}^e $ 위의 L-투영이 유일할 경우, 사후 분포는 그 점에 완전히 집중된다.
• 만약 $ r $ 의 $ \mathcal{M}^e $ 위에 $ k $ 개의 서로 다른 L-투영이 존재할 경우, 사후 분포는 각각에 대해 점근적으로 동일한 확률 $ \frac{1}{k} $ 를 할당한다.
• 결과는 $ r \notin \mathcal{M}^e $ 이더라도 성립한다. 즉, 불일치 조건 하에서도 성립한다.
• 사후 확률의 수렴 속도는 소나브의 정리(소스용, L-ST)에 의해 특성화되며, 감쇠율은 L-차이수 값의 차이에 의해 결정된다.
• 증명은 이전 연구에서 사용된 마르코프 방법을 피하고 대 deviations 기법에 의존하여, 일치성의 더 단순하고 직접적인 유도를 제공한다.