[論文レビュー] Abstract Hidden Markov Models: a monadic account of quantitative information flow

Annabelle McIver, Carroll Morgan+1 more|arXiv (Cornell University)|Aug 4, 2017

Computability, Logic, AI Algorithms参考文献 32被引用数 2

ひとこと要約

本稿では、隠れ状態を有する確率的プログラムのためのモノイダル意味論として、抽象的隠れマルコフモデル（AHMM）を導入する。Giryモノイドを用いて、DX → D²X 型の計算をモデル化し、Dは分布モノイドを表す。前向き（抽象的HMM）と後向き（不確実性変換子）の意味論の双対性を確立し、連続性と凹性を備えた一般化された不確実性測度へと確率的エントロピーを一般化する。また、Daleniusの望ましい性質が、ハイパードイストリビューションと損失関数表現を用いて、構成的問題として現れる仕組みを示す。

ABSTRACT

Hidden Markov Models, HMM's, are mathematical models of Markov processes with state that is hidden, but from which information can leak. They are typically represented as 3-way joint-probability distributions. We use HMM's as denotations of probabilistic hidden-state sequential programs: for that, we recast them as `abstract' HMM's, computations in the Giry monad $\mathbb{D}$, and we equip them with a partial order of increasing security. However to encode the monadic type with hiding over some state $\mathcal{X}$ we use $\mathbb{D}\mathcal{X} o \mathbb{D}^2\mathcal{X}$ rather than the conventional $\mathcal{X}{ o}\mathbb{D}\mathcal{X}$ that suffices for Markov models whose state is not hidden. We illustrate the $\mathbb{D}\mathcal{X} o \mathbb{D}^2\mathcal{X}$ construction with a small Haskell prototype. We then present uncertainty measures as a generalisation of the extant diversity of probabilistic entropies, with characteristic analytic properties for them, and show how the new entropies interact with the order of increasing security. Furthermore, we give a `backwards' uncertainty-transformer semantics for HMM's that is dual to the `forwards' abstract HMM's - it is an analogue of the duality between forwards, relational semantics and backwards, predicate-transformer semantics for imperative programs with demonic choice. Finally, we argue that, from this new denotational-semantic viewpoint, one can see that the Dalenius desideratum for statistical databases is actually an issue in compositionality. We propose a means for taking it into account.

研究の動機と目的

• Giryモノイドを用いたモノイド的構造を用いて、隠れ状態を有する確率的逐次プログラムの意味論を提示すること。
• 情報漏洩解析のための前向き（抽象的HMM）と後向き（不確実性変換子）の意味論の間の双対性を形式化すること。
• 連続性と凹性を核心的性質として備えた、確率的エントロピーの抽象的不確実性測度への一般化をすること。
• Daleniusの望ましい性質を、特に読み取り／書き込みの文脈における情報漏洩において、構成的問題として取り扱うこと。
• 損失関数とハイパードイストリビューションに基づく定量的論理を用いて、ソースレベルでの隠れ状態プログラムの推論を可能にすること。

提案手法

• GiryモノイドにおけるHMMを形式化し、隠れ状態をモデル化するために、X → DX の代わりに DX → D²X を用いる。
• 抽象的HMMの意味的領域としてハイパードイストリビューション（D²X）を定義し、安全性の増加を表す部分順序を備える。
• 連続性と凹性を特徴とする、エントロピーの一般化としての不確実性測度を導入し、損失関数を用いて表現する。
• 前向き抽象的HMMとは双対的な後向き、不確実性変換子の意味論を定義し、定理9.8を用いて双対性を証明する。
• Giryモノイドの枠組みを用いて、チャネル、構成性、非決定性に関する先行研究の結果を統一的に1つの意味的モデルに統合する。
• この枠組みを用いてDalenius効果を分析し、隠れ変数と外部相関性を含む構成的依存性が原因で生じることを示す。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、Giryモノイドを用いたモノイド的構造を用いて、隠れ状態を有する確率的プログラムを形式的にモデル化できるか？
• RQ2 前向き抽象的HMMと後向き不確実性変換子の意味論の間の双対性とは何か、そしてそれがどのように形式的に確立されるか？
• RQ3 確率的エントロピーは、連続性や凹性といった重要な解析的性質を保つ不確実性測度へとどのように一般化できるか？
• RQ4 Daleniusの望ましい性質は、情報漏洩においてどのように構成的問題として現れ、プログラムの意味論においてどのように解決できるか？
• RQ5 損失関数とハイパードイストリビューションを用いて、隠れ状態プログラムのソースレベルにおける定量的論理を構築できるか？

主な発見

• 本稿では、定理9.8により、前向き抽象的HMMと後向き不確実性変換子の意味論の双対性が形式的に確立されている。
• 不確実性測度が損失関数として完全に表現可能であることが示され、多様なエントロピーの均一な取り扱いが可能になった。
• Giryモノイドにおける DX → D²X の使用は、隠れ状態をモデル化する原理的基盤を提供し、構成的推論とループの不動点意味論を可能にする。
• この枠組みにより、Dalenius効果が隠れ変数と外部相関性を含む構成的依存性に起因すること、ハイパードイストリビューションを用いて形式的に取り扱えることが明らかになった。
• 抽象的HMMモデルは前向きと後向きの両方の推論をサポートし、後向きの視点により損失関数に基づくアサーションを用いたソースレベル推論が可能になる。
• Haskellプロトタイプは、図2〜5の例を独立して検証し、モノイド的モデルの実用的妥当性を確認した。