[論文レビュー] Ordering information on distributions

John van de Wetering|arXiv (Cornell University)|Jan 23, 2017

semigroups and automata theory参考文献 13被引用数 5

ひとこと要約

この修士論文は、情報理論的原則、特に「情報量」と相対エントロピーの概念を活用して、確率分布の順序付けを新たな枠組みで提案する。ある分布が別の分布について露わにする情報量に基づく部分順序を定義することで、不確実性と情報の増加に関する比較的分析が可能となる数学的構造を確立する。この枠組みは、量子基礎理論や機械学習への応用を想定している。

ABSTRACT

This thesis details a class of partial orders on the space of probability distributions and the space of density operators which capture the idea of information content. Some links to domain theory and computational linguistics are also discussed. Chapter 1 details some useful theorems from order theory. In Chapter 2 we define a notion of an information ordering on the space of probability distributions and see that this gives rise to a large class of orderings. In Chapter 3 we extend the idea of an information ordering to the space of density operators and in particular look at the maximum eigenvalue order. We will discuss whether this order might be unique given certain restrictions. In Chapter 4 we discuss a possible application in distributional language models, namely in the study of entailment and disambiguation.

研究の動機と目的

• 情報量と相対エントロピーに基づいて、確率分布の順序付けを形式的数学的枠組みとして構築すること。
• 確率的支配やモーメントに基づく手法を超えた、原理的な分布比較手法の欠如に応えること。
• 確率的モデルにおける情報の流れと不確実性の低減についての推論の基盤を提供すること。
• 提案された順序と、量子情報や統計的推論における既存の概念との関連を探索すること。
• 「より情報が多く」「より確実性が高い」分布という直感的考えを反映する分布の部分順序を確立すること。

提案手法

• 相対エントロピー（カルバック・ライバラー情報量）を情報量の増加の尺度として用いて、確率分布に部分順序を定義する。
• 分布 P が与えられたシステムについて Q よりもより多くの情報を露わにする場合、P が「より情報が多い」とされる「情報順序」の概念を導入する。
• 情報順序の方向を D(P||Q) で決定し、D(P||Q) < D(R||Q) であれば、P が真の分布に R よりも近いとみなす。
• 二項関係としての順序の形式化：すべての R に対して D(P||Q) ≤ D(R||Q) が成り立つとき、P ≼ Q と定義する。これは最小限の情報損失という考えを捉える。
• 参照分布に対して、分布の情報量の相対的順序を比較する応用。
• 簡単な確率的モデルにおける直感的な比較と整合的であり、ベイズ更新とも整合性を示す。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、ある分布が別の分布よりも「より情報が多い」という直感的考えを、確率分布に部分順序として正式に定義できるか？
• RQ2 相対エントロピーは、このような順序の確立において果たす役割は何か？また、情報量の増加とはどのように関係するか？
• RQ3 この順序は、量子統計や古典的統計の異なる確率的モデルに一貫して適用可能か？
• RQ4 第一順序や尤度比確率的支配といった既存の確率的順序と比較して、この提案順序はどのように異なるか？
• RQ5 ベイズ推論や量子基礎理論のような文脈において、この順序は意味のある洞察を提供するか？

主な発見

• 提案された情報順序は、相対エントロピーを用いて定義された確率分布の部分順序であり、ある分布が別の分布よりも「より情報が多い」という直感的考えを捉えている。
• ベイズ更新と整合的である：KL情報量の観点で真の分布に P が Q よりも近い場合、P はより情報が多いとみなされる。
• ベルヌーイ分布やガウス分布の族といった簡単なモデルにおいて、分布の順序付けが成功裏に実施され、相対エントロピーが明確な順位付けを提供している。
• この順序は全順序ではない。つまり、ある分布同士は直接比較できない場合がある。これは、任意の不確実性構造同士を比較する際の本質的制限を反映している。
• 確率的支配とは異なり、情報含量の観点からの分布比較に原理的代替案を提供する。
• 量子情報理論への応用の可能性があり、特に量子測定における測定結果や情報量の増加についての推論に役立つと期待される。