[논문 리뷰] The Computational Power of Dynamic Bayesian Networks

Joshua Brulé|arXiv (Cornell University)|2016. 03. 19.

Bayesian Modeling and Causal Inference인용 수 2

한 줄 요약

이 논문은 연속 확률 변수와 이산 자식을 가진 동적 베이지안 네트워크(DBN)가 터밍 완전성 계산을 달성할 수 있음을 보여주며, 이는 이산 DBN의 부분-터밍 제한성을 극복한다. 두 스택 푸시다운 오토마타에서 스택 연산을 시뮬레이션하기 위해 딜라 및 헤비사이드 분포를 사용함으로써, 수정된 민감도 전파 알고리즘을 통해 일정 시간 오버헤드만을 가지며 실시간으로 터밍 기계를 시뮬레이션할 수 있다.

ABSTRACT

This paper considers the computational power of constant size, dynamic Bayesian networks. Although discrete dynamic Bayesian networks are no more powerful than hidden Markov models, dynamic Bayesian networks with continuous random variables and discrete children of continuous parents are capable of performing Turing-complete computation. With modified versions of existing algorithms for belief propagation, such a simulation can be carried out in real time. This result suggests that dynamic Bayesian networks may be more powerful than previously considered. Relationships to causal models and recurrent neural networks are also discussed.

연구 동기 및 목표

• 고정 크기의 동적 베이지안 네트워크의 계산 능력을 조사하기 위해.
• 이산 DBN이 알려진 부분-터밍 제한성에도 불구하고 터밍 완전성을 달성할 수 있는지 판단하기 위해.
• 연속 확률 변수에 이산 자식이 존재할 경우, 확률적 그래픽 모델에서 보편 계산을 가능하게 하는지 탐색하기 위해.
• 수정된 민감도 전파 알고리즘을 사용하여 이러한 하이브리드 모델에서 정확한 추론을 개발하기 위해.
• DBN의 표현 능력과 순환 신경망 및 원인 모델의 표현 능력 간 비교하기 위해.

제안 방법

• 두 슬라이스 시간 베이지안 네트워크(2TBN)를 구성하여 두 스택 푸시다운 오토마타를 시뮬레이션하고, 이는 터밍 기계와 동치이다.
• 스택 내용을 실수로 인코딩하기 위해 델타 분포를 가진 연속 확률 변수를 사용하며, 이진 문자열에 대해 고유한 인코딩을 제공한다.
• 상단 스택 값 추출 및 빈 스택 여부 확인을 위해 조건부 확률 밀도로 헤비사이드 스텝 함수를 활용한다.
• 스택 푸시 및 팝 연산을 시뮬레이션하기 위해 선형 변환(예: q/4 + 1/4)을 사용하여 결정론적 조건부 분포를 정의한다.
• 혼합 연속-이산 모델에서 추론을 위한 레너의 알고리즘을 수정하여, 사후분포의 1차 및 2차 모멘트를 정확하게 계산할 수 있도록 한다.
• 수치적 안정성을 확보하기 위해 딜타 분포를 가진 부모로 제한하고, 헤비사이드 조건부 분포를 사용하여 수치적 통합 오류를 방지한다.

실험 결과

연구 질문

• RQ1 고정된 수의 변수를 가진 동적 베이지안 네트워크가 터밍 완전성 계산을 달성할 수 있는가?
• RQ2 연속 확률 변수에 이산 자식이 존재할 때, DBN의 계산 능력 향상에 어떤 역할을 하는가?
• RQ3 보편 계산이 가능한 하이브리드 연속-이산 DBN에서 정확한 추론이 가능한가?
• RQ4 실수 RAM 모델 하에서 이러한 모델의 추론 계산 복잡도는 어떻게 스케일링되는가?
• RQ5 이러한 결과들이 원인 모델링에서 1차 논리 특성이 불필요하다는 데까지 어느 정도의 정도를 시사하는가?

주요 결과

• 이산 동적 베이지안 네트워크는 부분-터밍이며, 숨겨진 마르코프 모델로 간소화될 수 있고, RP 복잡도 클래스에 속하는 스토케스틱 언어만 인식할 수 있다.
• 연속 확률 변수에 이산 자식이 존재하는 경우—특히 델타 및 헤비사이드 분포를 사용할 경우—DBN은 두 스택 푸시다운 오토마타를 시뮬레이션하여 터밍 완전성을 달성할 수 있다.
• 스택 상태를 실수로 인코딩하고 결정론적 조건부 분포를 사용하여 스택 연산을 시뮬레이션함으로써, 모델은 터밍 기계를 정확히 시뮬레이션한다.
• 부모가 델타 분포를 가지며 조건부 분포가 헤비사이드 함수일 경우, 수정된 레너의 알고리즘을 사용하여 사후분포의 정확한 모수를 계산할 수 있으며, 수치적 통합 오류가 발생하지 않는다.
• 임의 정밀도 산술을 사용할 경우, 추론은 일정 시간 오버헤드만을 가지며, 이는 터밍 기계의 실시간 시뮬레이션을 가능하게 한다.
• 결과적으로 순환 신경망과 동적 베이지안 네트워크 사이에 표현 능력 면에서 형식적인 동등성이 확립되며, 유사한 조건 하에서 둘 다 터밍 완전성을 갖는다.