[论文解读] Abstract Hidden Markov Models: a monadic account of quantitative information flow

Annabelle McIver, Carroll Morgan+1 more|arXiv (Cornell University)|Aug 4, 2017

Computability, Logic, AI Algorithms参考文献 32被引用 2

一句话总结

本文提出抽象隐马尔可夫模型（AHMMs）作为具有隐藏状态的随机程序的单子表示意语法，使用Giry单子来建模类型为DX → D²X的计算，其中D表示分布单子。它建立了前向（抽象HMM）与后向（不确定性转换器）语义之间的对偶性，将概率熵推广为具有连续性和凹性的不确定性度量，并表明Dalenius的期望条件作为组合性问题浮现，通过超分布和损失函数表示得以解决。

ABSTRACT

Hidden Markov Models, HMM's, are mathematical models of Markov processes with state that is hidden, but from which information can leak. They are typically represented as 3-way joint-probability distributions. We use HMM's as denotations of probabilistic hidden-state sequential programs: for that, we recast them as `abstract' HMM's, computations in the Giry monad $\mathbb{D}$, and we equip them with a partial order of increasing security. However to encode the monadic type with hiding over some state $\mathcal{X}$ we use $\mathbb{D}\mathcal{X} o \mathbb{D}^2\mathcal{X}$ rather than the conventional $\mathcal{X}{ o}\mathbb{D}\mathcal{X}$ that suffices for Markov models whose state is not hidden. We illustrate the $\mathbb{D}\mathcal{X} o \mathbb{D}^2\mathcal{X}$ construction with a small Haskell prototype. We then present uncertainty measures as a generalisation of the extant diversity of probabilistic entropies, with characteristic analytic properties for them, and show how the new entropies interact with the order of increasing security. Furthermore, we give a `backwards' uncertainty-transformer semantics for HMM's that is dual to the `forwards' abstract HMM's - it is an analogue of the duality between forwards, relational semantics and backwards, predicate-transformer semantics for imperative programs with demonic choice. Finally, we argue that, from this new denotational-semantic viewpoint, one can see that the Dalenius desideratum for statistical databases is actually an issue in compositionality. We propose a means for taking it into account.

研究动机与目标

• 使用单子结构，通过Giry单子为具有隐藏状态的随机顺序程序提供一种表示语法。
• 形式化前向（抽象HMM）与后向（不确定性转换器）语义之间的对偶性，用于信息流分析。
• 将概率熵推广为具有连续性和凹性等核心性质的抽象不确定性度量。
• 将Dalenius期望条件作为信息流中的组合性问题来处理，特别是在读/写上下文中。
• 通过基于损失函数和超分布的定量逻辑，实现对隐藏状态程序的源级推理。

提出的方法

• 将HMM形式化为Giry单子中的计算，使用DX → D²X而非X → DX来建模隐藏状态。
• 将超分布（D²X）定义为抽象HMM的语义域，并配备一个表示安全级别递增的偏序关系。
• 引入不确定性度量作为熵的推广，通过连续性和凹性表征，并以损失函数表示。
• 开发一种与前向抽象HMM对偶的后向、不确定性转换器语义，并通过定理9.8证明其对偶性。
• 利用Giry单子框架，将先前关于信道、组合性以及非确定性的结果统一于单一语义模型中。
• 将该框架应用于分析Dalenius效应，表明其源于涉及隐藏变量和第三方相关性的组合性依赖。

实验结果

研究问题

• RQ1 如何使用Giry单子的单子语义形式化建模具有隐藏状态的随机程序？
• RQ2 前向抽象HMM与后向不确定性转换器语义之间的对偶性是什么，以及如何形式化地建立这种对偶性？
• RQ3 概率熵如何被推广为保留连续性和凹性等基本分析性质的不确定性度量？
• RQ4 Dalenius期望条件在信息流中如何表现为组合性问题，以及如何在程序语义中解决该问题？
• RQ5 能否使用损失函数和超分布构建隐藏状态程序的源级定量逻辑？

主要发现

• 本文通过定理9.8正式证明了前向抽象HMM与后向不确定性转换器语义之间的对偶性。
• 不确定性度量被证明可完全表示为损失函数，从而实现对各类熵的统一处理。
• 在Giry单子中使用DX → D²X为隐藏状态建模提供了原则性基础，支持组合性推理和循环的不动点语义。
• 该框架揭示了Dalenius效应源于涉及隐藏变量和外部相关性的组合性依赖，可通过超分布形式化解决。
• 抽象HMM模型支持前向与后向推理，后向视角通过基于损失函数的断言实现源级推理。
• Haskell原型独立验证了图2至图5中的示例，证实了该单子模型的实际可行性。