[論文レビュー] Learning about a Categorical Latent Variable under Prior Near-Ignorance

Alberto Piatti, Marco Zaffalon+2 more|ArXiv.org|May 29, 2007

Topic Modeling参考文献 11被引用数 3

ひとこと要約

本稿は、事前近無知状態（ほぼ空っぽだが理論的には学習を許す）のもとで、カテゴリカルな潜在変数について学習可能かどうかを検討する。実際の状況ではほぼ常に成立するが、潜在変数が観測されず、観測プロセスが不完全な状況では、近無知状態であっても学習が不可能であることが示された。

ABSTRACT

It is well known that complete prior ignorance is not compatible with learning, at least in a coherent theory of (epistemic) uncertainty. What is less widely known, is that there is a state similar to full ignorance, that Walley calls near-ignorance, that permits learning to take place. In this paper we provide new and substantial evidence that also near-ignorance cannot be really regarded as a way out of the problem of starting statistical inference in conditions of very weak beliefs. The key to this result is focusing on a setting characterized by a variable of interest that is latent. We argue that such a setting is by far the most common case in practice, and we show, for the case of categorical latent variables (and general manifest variables) that there is a sufficient condition that, if satisfied, prevents learning to take place under prior near-ignorance. This condition is shown to be easily satisfied in the most common statistical problems.

研究の動機と目的

• 事前近無知状態が統計的推論においてカテゴリカルな潜在変数について学習を可能にするかを評価すること。
• 顕在変数が潜在変数を不完全に反映する観測プロセスの役割が、近無知状態下での学習を損なう仕組みを調査すること。
• 近無知状態下でも学習が不可能となる十分条件を特定し、現実的な統計的状況において特に有効にすること。
• 近無知状態が客観的統計的推論において完全な無知の代替として実用的であるという仮定に反論すること。
• 実用的な統計的応用において、近無知状態よりも強い信念モデルの開発の必要性を主張すること。

提案手法

• 曖昧確率論を用いて事前近無知状態を形式化し、単一の確率分布ではなく複数の確率分布の集合として信念をモデル化する。
• カテゴリカルな潜在変数 X と、X の不完全でノイズ混じりの観測である顕在変数 S を導入する。
• 条件付き確率 P(S|θ) のサポートと観測データの最尤推定値に基づく尤度条件を定義する。
• 定理1〜3を適用して、近無知状態下でも、データが大きくても事後確信度の上限と下限が唯一の信念に収束しないことを示す。
• P(S|θ) に対する連続性および正値性の仮定を用いて、事後上限確率と下限確率の極限的挙動を導出する。
• 系を適用して、例えばデータが特定の結果を確実に示唆するような具体的なケースを分析し、事前分布が意味的に更新されないことを示す。

実験結果

リサーチクエスチョン

• RQ1 事前近無知状態下でカテゴリカルな潜在変数について学習は可能か？
• RQ2 潜在変数が観測不能な状況で、事前近無知状態下での学習を妨げる条件は何か？
• RQ3 観測プロセスの不完全さが、曖昧確率モデルにおける学習にどのように影響するか？
• RQ4 潜在変数モデルの統計的推論において、近無知状態は完全な無知の実用的代替として妥当か？
• RQ5 どのような条件下で、データが増加しても事後上限確率と下限確率が集中しなくなるか？

主な発見

• 事前近無知状態下での学習を防ぐ十分条件は、尤度関数 P(S|θ) がデータの最尤推定値の近傍で連続的かつ正値であることである。
• 最尤推定値における尤度が連続的かつ正値であっても、事後上限確率と下限確率は収束せず、結果として学習は成立しない。
• この学習を防ぐ条件は、ノイズ混じりの観測を伴う多項分布サンプリングなどの一般的な統計的問題において容易に満たされる。
• 事前分布が特定の結果（例：θ_i = 1）に最大の確信度を与える場合、観測 S がその結果と整合する場合でも、事後上限確率は1のまま、下限確率は0のまま維持され、学習が行われないことを示す。
• 本稿は、いかなるデータセットや観測 S に対しても、尤度関数が最尤推定値で連続的かつ正値であれば、事後上限確率が明確な値に収束せず、曖昧性が保たれることを示している。
• 結果として、近無知状態は、データサイズにかかわらず持続的な曖昧性を伴うため、潜在変数モデルにおける客観的統計的推論の実用的基盤として機能できないことが示唆される。