[论文解读] Towards the full information chain theory: answer depth and source models

Eugene Perevalov, David Grace|arXiv (Cornell University)|Dec 12, 2012

Topic Modeling参考文献 5被引用 4

一句话总结

本文提出了一种答案深度函数，用于量化信息源在决策情境中回答的准确性，将其建模为在各向同性知识结构下问题难度的函数。其主要贡献是建立了一个将答案深度与源容量联系起来的正式框架，从而在经典信息论仅关注信息量的基础上，构建了关于信息获取的统一理论。

ABSTRACT

A problem of optimal information acquisition for its use in general decision making problems is considered. This motivates the need for developing quantitative measures of information sources' capabilities for supplying accurate information depending on the particular content of the latter. A companion article developed the notion of a question difficulty functional for questions concerning input data for a decision making problem. Here, answers which an information source may provide in response to such questions are considered. In particular, a real valued answer depth functional measuring the degree of accuracy of such answers is introduced and its overall form is derived under the assumption of isotropic knowledge structure of the information source. Additionally, information source models that relate answer depth to question difficulty are discussed. It turns out to be possible to introduce a notion of an information source capacity as the highest value of the answer depth the source is capable of providing.

研究动机与目标

• 开发决策中信息获取的定量框架，解决信息准确性与相关性缺乏统一理论的问题。
• 将答案深度概念形式化为响应准确性的度量，类似于问题难度，但针对答案本身。
• 建立答案深度与问题难度之间的关系，引入源容量作为可实现答案深度的最大值。
• 为完整的信息链理论奠定基础，统一信息获取、传输与使用，超越经典信息论仅关注信息量的局限。
• 为基于信息源可靠性与提供准确答案能力的评估与比较提供理论依据。

提出的方法

• 引入答案深度泛函作为衡量信息源产生答案所执行的‘工作’的实值度量，值越高表示准确性越高。
• 在各向同性知识结构假设下推导答案深度泛函的一般形式，其形式与问题难度泛函相匹配。
• 将信息源模型定义为从问题难度到可实现答案深度的映射函数，反映源的知识强度。
• 引入源容量概念，即所有问题中答案深度的上确界，解释为伪能量容量而非信道容量。
• 采用改进的线性模型拟合实证数据，从样本问题中估计难度、深度和伪温度等参数。
• 运用几何与泛函分析，将知识结构（在各向异性情况下通过对称张量表示）与问题-答案对的行为联系起来。

实验结果

研究问题

• RQ1 如何在反映源知识结构的前提下，定量衡量信息源提供的答案的准确性？
• RQ2 答案深度与问题难度之间存在何种函数关系？如何为不同源建模？
• RQ3 如何定义并估计信息源的最大能力——即其容量，以可实现答案深度为依据？
• RQ4 各向同性与各向异性知识结构对答案深度与问题难度泛函形式有何影响？
• RQ5 如何利用问题-答案对的实证数据估计源模型参数，包括伪温度与误差概率？

主要发现

• 在各向同性知识结构假设下，正式推导出答案深度泛函，显示出其与问题难度泛函的对称关系。
• 对于信息源1，拟合模型得到深度参数 b = 0.77，总误差和 ∑zi = 0.09，表明对样本问题的回答具有高准确性。
• 对于信息源2，模型得到 b = 0.74 且 ∑zi = 0.18，表明其准确性较低且误差率高于源1。
• 两个源的伪温度函数均表现出非单调行为，源2在某些问题上（如问题5）表现优于源1，表明难度具有上下文依赖性。
• 源容量被确定为答案深度的上界，代表源所能执行的最大‘工作’，与经典信道容量不同。
• 实证结果证实答案深度是问题难度的函数，且可通过改进的线性拟合方法估计源模型，其参数如 U、Ys 和误差概率均可测量。