[논문 리뷰] Abstract Hidden Markov Models: a monadic account of quantitative information flow

Annabelle McIver, Carroll Morgan외 1명|arXiv (Cornell University)|2017. 08. 04.

Computability, Logic, AI Algorithms참고 문헌 32인용 수 2

한 줄 요약

이 논문은 은닉 상태를 가진 확률적 프로그램을 위한 단항 denotational semantics로 추상 은닉 마르코프 모델(AHMMs)을 도입한다. Giry 단항을 사용하여 형식 D^X → D^2X의 계산을 모델링하며, 여기서 D는 분포 단항을 의미한다. 이는 전진(추상 HMM)과 후진(불확실성 변환자) 의미론 사이의 이중성을 수립하며, 연속성과 볼록성 조건을 갖는 일반화된 불확실성 측정법을 도입하고, Dalenius의 욕망이 초점적 문제로 나타나는 방식을 초월하여 초분포와 손실 함수 표현을 통해 해결한다.

ABSTRACT

Hidden Markov Models, HMM's, are mathematical models of Markov processes with state that is hidden, but from which information can leak. They are typically represented as 3-way joint-probability distributions. We use HMM's as denotations of probabilistic hidden-state sequential programs: for that, we recast them as `abstract' HMM's, computations in the Giry monad $\mathbb{D}$, and we equip them with a partial order of increasing security. However to encode the monadic type with hiding over some state $\mathcal{X}$ we use $\mathbb{D}\mathcal{X} o \mathbb{D}^2\mathcal{X}$ rather than the conventional $\mathcal{X}{ o}\mathbb{D}\mathcal{X}$ that suffices for Markov models whose state is not hidden. We illustrate the $\mathbb{D}\mathcal{X} o \mathbb{D}^2\mathcal{X}$ construction with a small Haskell prototype. We then present uncertainty measures as a generalisation of the extant diversity of probabilistic entropies, with characteristic analytic properties for them, and show how the new entropies interact with the order of increasing security. Furthermore, we give a `backwards' uncertainty-transformer semantics for HMM's that is dual to the `forwards' abstract HMM's - it is an analogue of the duality between forwards, relational semantics and backwards, predicate-transformer semantics for imperative programs with demonic choice. Finally, we argue that, from this new denotational-semantic viewpoint, one can see that the Dalenius desideratum for statistical databases is actually an issue in compositionality. We propose a means for taking it into account.

연구 동기 및 목표

• Giry 단항을 사용하여 은닉 상태를 가진 확률적 순차 프로그램을 위한 denotational semantics를 제공한다.
• 정보 흐름 분석을 위한 전진(추상 HMM)과 후진(불확실성 변환자) 의미론 사이의 이중성을 공식화한다.
• 확률적 엔트로피를 연속성과 볼록성이라는 핵심 성질을 유지하는 일반화된 추상 불확실성 측정법으로 일반화한다.
• 특히 읽기/쓰기 환경에서 정보 흐름의 구성적 문제로 나타나는 Dalenius의 욕망을 다룬다.
• 손실 함수와 초분포를 기반으로 한 정량적 논리에 기반해 은닉 상태 프로그램에 대한 소스 수준의 추론을 가능하게 한다.

제안 방법

• Giry 단항 내에서 HMM을 계산으로 형식화하며, 은닉 상태를 모델링하기 위해 X → D^X 대신 D^X → D^2X를 사용한다.
• 초분포(D^2X)를 추상 HMM의 의미 도메인으로 정의하고, 보안 수준이 증가하는 부분 순서로 구성한다.
• 손실 함수를 통해 표현되는 연속성과 볼록성로 특징지어지는 엔트로피의 일반화로서 불확실성 측정법을 도입한다.
• 전진 추상 HMM과 대칭적인 후진 불확실성 변환자 의미론을 개발하고, 정리 9.8을 통해 이중성을 증명한다.
• Giry 단항 프레임워크를 사용해 채널, 구성성, 비결정성에 관한 이전 결과들을 하나의 의미 모델로 통합한다.
• 프레임워크를 적용하여 Dalenius 효과를 분석하고, 은닉 변수와 외부 상관관계를 포함하는 구성적 의존성으로 인해 발생함을 보여준다.

실험 결과

연구 질문

• RQ1 은닉 상태를 가진 확률적 프로그램은 Giry 단항을 사용한 단항 의미론으로 어떻게 공식화될 수 있는가?
• RQ2 전진 추상 HMM과 후진 불확실성 변환자 의미론 사이의 이중성은 무엇이며, 어떻게 공식적으로 증명되는가?
• RQ3 확률적 엔트로피는 연속성과 볼록성과 같은 필수 분석적 성질을 유지하면서 어떻게 일반화된 불확실성 측정법으로 확장될 수 있는가?
• RQ4 Dalenius의 욕망은 정보 흐름에서 어떤 방식으로 구성적 문제로 나타나며, 프로그램 의미론에서 어떻게 해결될 수 있는가?
• RQ5 손실 함수와 초분포를 사용하여 은닉 상태 프로그램에 대한 소스 수준의 정량적 논리를 구성할 수 있는가?

주요 결과

• 논문은 전진 추상 HMM과 후진 불확실성 변환자 의미론 사이의 이중성을 정리 9.8을 통해 공식적으로 증명한다.
• 불확실성 측정법이 손실 함수로 완전히 표현 가능함을 보여주며, 다양한 엔트로피에 대한 통일된 처리를 가능하게 한다.
• Giry 단항에서 D^X → D^2X의 사용은 은닉 상태를 모델링하는 원칙적인 기반을 제공하며, 구성적 추론과 루프에 대한 고정점 의미론을 가능하게 한다.
• 프레임워크는 Dalenius 효과가 은닉 변수와 외부 상관관계를 포함하는 구성적 의존성으로 인해 발생하며, 초분포를 통해 공식적으로 해결 가능함을 드러낸다.
• 추상 HMM 모델은 전진 및 후진 추론을 모두 지원하며, 후진 시각은 손실 함수 기반의 진술을 통한 소스 수준 추론을 가능하게 한다.
• Haskell 프로토타입은 그림 2–5의 예제를 독립적으로 검증하여 단항 모델의 실용적 타당성을 확인한다.