[论文解读] Learning about a Categorical Latent Variable under Prior Near-Ignorance

Alberto Piatti, Marco Zaffalon+2 more|ArXiv.org|May 29, 2007

Topic Modeling参考文献 11被引用 3

一句话总结

本文研究在先验近乎无知（prior near-ignorance）状态下，是否可能对分类潜变量（categorical latent variable）进行学习。结果表明，即使在近乎无知条件下，当潜变量未被观测且观测过程不完美时，学习仍被排除——而这种情况在实践中几乎总是存在。

ABSTRACT

It is well known that complete prior ignorance is not compatible with learning, at least in a coherent theory of (epistemic) uncertainty. What is less widely known, is that there is a state similar to full ignorance, that Walley calls near-ignorance, that permits learning to take place. In this paper we provide new and substantial evidence that also near-ignorance cannot be really regarded as a way out of the problem of starting statistical inference in conditions of very weak beliefs. The key to this result is focusing on a setting characterized by a variable of interest that is latent. We argue that such a setting is by far the most common case in practice, and we show, for the case of categorical latent variables (and general manifest variables) that there is a sufficient condition that, if satisfied, prevents learning to take place under prior near-ignorance. This condition is shown to be easily satisfied in the most common statistical problems.

研究动机与目标

• 评估先验近乎无知是否能在统计推断中实现对分类潜变量的学习。
• 探究观测过程的作用——即可观测变量对潜变量的反映不完美——如何在近乎无知条件下削弱学习。
• 识别在近乎无知下学习仍不可能的充分条件，尤其在现实的统计情境中。
• 挑战近乎无知可作为完全无知的可行替代方案这一假设，适用于客观统计推断。
• 主张需发展强于近乎无知的信念模型，以满足实际统计应用的需求。

提出的方法

• 使用不精确概率理论形式化先验近乎无知，将信念建模为一组概率分布，而非单一分布。
• 引入一个分类潜变量 X 和一个可观测变量 S，其中 S 是 X 的不完美、有噪声的观测。
• 定义一个基于似然的条件，涉及条件概率 P(S|θ) 的支撑集以及观测数据的最大似然值。
• 应用定理 1–3 表明，在近乎无知下，即使数据量很大，后验可能性上下界也不会收缩至唯一信念。
• 利用 P(S|θ) 的连续性和正性假设，推导后验上界与下界概率的极限行为。
• 应用推论分析具体情形，例如当数据明确指向单一结果时，表明先验未发生有意义的更新。

实验结果

研究问题

• RQ1 在先验近乎无知下，能否对分类潜变量进行学习？
• RQ2 当感兴趣变量为潜变量时，何种条件会阻止在先验近乎无知下的学习？
• RQ3 观测过程的不完美性如何影响不精确概率模型中的学习？
• RQ4 近乎无知是否可作为潜变量模型中完全无知的可行替代方案？
• RQ5 在何种条件下，即使数据量增加，后验上界与下界概率也无法集中？

主要发现

• 在先验近乎无知下阻止学习的充分条件是：似然函数 P(S|θ) 在数据最大似然估计的邻域内连续且为正。
• 即使似然函数在最大似然点处连续且为正，后验上界与下界概率仍无法收缩，意味着学习并未发生。
• 该阻止学习的条件在常见统计问题中极易满足，例如涉及带噪声观测的多项式抽样问题。
• 当先验对单一结果赋予最大可能性（例如 θ_i = 1），且观测 S 与该结果一致时，后验上界概率保持为 1，下界概率保持为 0，表明无学习发生。
• 本文表明，对于任意数据集和任意观测 S，只要似然函数在最大似然点处连续且为正，则后验上界概率不会收敛至精确值，从而保持模糊性。
• 结果表明，由于无论数据量多大，模糊性始终存在，近乎无知无法作为潜变量模型中客观统计推断的实用基础。