[论文解读] Maximum Entropy and the Glasses You Are Looking Through

Peter Grünwald|arXiv (Cornell University)|Jan 16, 2013

Statistical Mechanics and Entropy参考文献 6被引用 26

一句话总结

本文通过博弈论视角重新诠释了最大熵（MaxEnt）原理，区分了在解决表示依赖性问题时应用MaxEnt分布的不同方式。通过将MaxEnt建模为统计学家与自然之间的博弈，该方法避免了对表示的敏感性问题，为不确定环境下的概率推理提供了更稳健的理论基础。

ABSTRACT

We give an interpretation of the Maximum Entropy (MaxEnt) Principle in game-theoretic terms. Based on this interpretation, we make a formal distinction between different ways of {em applying/} Maximum Entropy distributions. MaxEnt has frequently been criticized on the grounds that it leads to highly representation dependent results. Our distinction allows us to avoid this problem in many cases.

研究动机与目标

• 为解决长期以来关于MaxEnt结果高度依赖于表示方式的批评，通过博弈论术语形式化其应用。
• 澄清在应用MaxEnt分布时不同模式之间的区别，特别是对约束和证据的解释方式。
• 通过将MaxEnt建模为统计学家与自然之间的战略博弈，为MaxEnt推理提供一个原则性且与表示无关的理论基础。
• 证明博弈论解释可避免在非标准或任意表示下应用传统MaxEnt时出现的陷阱。

提出的方法

• 将MaxEnt建模为统计学家与自然玩家之间的双人零和博弈，其中统计学家选择一个分布以在约束下最大化熵，而自然则选择一个分布以最小化统计学家的期望效用。
• 引入在‘对约束应用MaxEnt’与‘对观测证据应用MaxEnt’之间进行形式化区分，表明后者对表示选择更具鲁棒性。
• 利用最小最大定理推导出唯一均衡分布的存在性，该分布对应于在正确解释下标准的MaxEnt解。
• 将博弈论框架应用于证明：当使用正确约束解释时，MaxEnt分布对重参数化保持不变。
• 使用‘眼镜’作为观察者视角的隐喻，其中不同眼镜（表示方式）会改变感知，但博弈论结构确保了推理的一致性。

实验结果

研究问题

• RQ1 如何以一种避免结果依赖于表示的方式重新解释最大熵原理？
• RQ2 将MaxEnt应用于约束与应用于观测证据之间的正式区别是什么？
• RQ3 博弈论框架能否为MaxEnt推理提供稳定且不变的理论基础？
• RQ4 为何MaxEnt有时会产生反直觉或敏感的结果？这一问题如何得以解决？

主要发现

• MaxEnt的博弈论解释提供了一个与表示无关的框架，解决了对任意参数化方式敏感的问题。
• 将MaxEnt应用于约束与应用于证据之间的区别会导致不同的推理结果，其中后者更具鲁棒性且对表示的依赖性更小。
• 博弈的均衡恰好对应于在约束被正确解释时的标准MaxEnt分布，从而验证了该方法的有效性。
• 该框架解释了为何MaxEnt可能显得不一致：这取决于约束被视为硬性还是软性，而博弈模型明确了这一区别。