[논문 리뷰] Ordering information on distributions

John van de Wetering|arXiv (Cornell University)|2017. 01. 23.

semigroups and automata theory참고 문헌 13인용 수 5

한 줄 요약

이 석사학위논문은 정보이론적 원리를 활용하여 확률분포의 순서를 정의하는 새로운 프레임워크를 제안한다. 특히 정보량과 상대 엔트로피의 개념을 중심으로 하며, 한 분포가 다른 분포에 대해 드러내는 정보의 정도를 바탕으로 부분순서를 정의함으로써, 불확실성과 정보 획득의 비교 분석이 가능한 엄밀한 수학적 구조를 수립한다. 이는 양자 기초 이론과 머신러닝 분야에 응용 가능하다.

ABSTRACT

This thesis details a class of partial orders on the space of probability distributions and the space of density operators which capture the idea of information content. Some links to domain theory and computational linguistics are also discussed. Chapter 1 details some useful theorems from order theory. In Chapter 2 we define a notion of an information ordering on the space of probability distributions and see that this gives rise to a large class of orderings. In Chapter 3 we extend the idea of an information ordering to the space of density operators and in particular look at the maximum eigenvalue order. We will discuss whether this order might be unique given certain restrictions. In Chapter 4 we discuss a possible application in distributional language models, namely in the study of entailment and disambiguation.

연구 동기 및 목표

• 정보량과 상대 엔트로피를 바탕으로 한 확률분포 순서 정하기를 위한 공리적 수학적 프레임워크를 개발하는 것.
• 스토크است릭 지배나 모멘트 기반 방법 외의 원칙적인 비교 방법이 부족한 문제를 해결하는 것.
• 확률 모델 내에서 정보 흐름과 불확실성 감소에 대한 추론 기반을 제공하는 것.
• 제안된 순서와 양자 정보 이론 및 통계적 추론 분야의 기존 개념 간의 연결 고리를 탐색하는 것.
• 직관적인 '더 많은 정보를 담고 있는' 또는 '더 많은 확신이 있는' 분포 개념을 반영하는 분포에 대한 부분순서를 수립하는 것.

제안 방법

• 상대 엔트로피(Kullback-Leibler 발산)를 정보 획득의 척도로 사용하여 확률분포에 대한 부분순서를 정의하는 것.
• 정보 순서의 개념을 도입하여, 주어진 시스템에 대해 분포 P가 Q보다 더 많은 정보를 드러내면 P가 '더 정보가 많은' 것으로 간주하는 것.
• D(P||Q)를 사용해 정보 순서의 방향을 결정하며, D(P||Q) < D(R||Q)이면 P가 진짜 분포에 R보다 더 가까운 것으로 간주한다.
• 이진관계를 통해 순서를 공식화: 모든 R에 대해 D(P||Q) ≤ D(R||Q)이면 P ≼ Q로 정의함으로써 최소 정보 손실의 개념을 반영한다.
• 기준 분포에 대해 상대적인 정보량을 기준으로 분포들을 비교하기 위해 순서를 적용하는 것.
• 간단한 확률 모델에서 직관적인 비교와 일치하고 베이지안 업데이트와의 호환성을 입증하는 것.

실험 결과

연구 질문

• RQ1 어떻게 정보량과 상대 엔트로피를 바탕으로 한 공리적 부분순서를 정의할 수 있는가? 이는 한 분포가 다른 분포보다 더 많은 정보를 담고 있다는 직관적 개념을 반영하는가?
• RQ2 상대 엔트로피는 이러한 순서를 수립하는 데 어떤 역할을 하는가? 그리고 정보 획득과의 관계는 무엇인가?
• RQ3 이 순서는 양자 및 고전 통계 분야의 다양한 확률 모델에 일관되게 적용될 수 있는가?
• RQ4 이 순서는 일阶 또는 가능도 비율 스토크라스틱 지배와 같은 기존의 스토크라스틱 순서와 어떻게 비교될 수 있는가?
• RQ5 베이지안 추론이나 양자 기초 이론과 같은 맥락에서 이 순서는 의미 있는 통찰을 제공하는가?

주요 결과

• 제안된 정보 순서는 상대 엔트로피를 통해 정의된 확률분포에 대한 부분순서이며, 한 분포가 다른 분포보다 더 많은 정보를 담고 있다는 직관적 개념을 반영한다.
• 이 순서는 베이지안 업데이트와 일관성 있다: KL 발산 측면에서 P가 진짜 분포에 Q보다 더 가까우면, P는 더 정보가 많은 것으로 간주된다.
• 이 프레임워크는 베르누이 및 가우시안 가족과 같은 단순 모델에서 분포들을 성공적으로 순서화하며, 상대 엔트로피가 명확한 순위를 제공한다.
• 이 순서는 총순서가 아니므로 일부 분포는 직접 비교할 수 없으며, 이는 임의의 불확실성 구조를 비교하는 데 내재된 제한을 반영한다.
• 이 방법은 스토크라스틱 지배 외의 정보 내용 기반 분포 비교를 위한 원칙적인 대안을 제공한다.
• 이 프레임워크는 특히 측정 결과와 양자 측정에서의 정보 획득에 대한 추론에 응용 가능성이 있는 양자 정보 이론 분야에 응용 가능성이 있다.