[논문 리뷰] On Relaxing Determinism in Arithmetic Circuits

Arthur Choi, Adnan Darwiche|arXiv (Cornell University)|2017. 08. 22.

Numerical Methods and Algorithms참고 문헌 16인용 수 25

한 줄 요약

이 논문은 산술 회로(ACs)에서 결정론성의 완화가 미치는 영향을 체계적으로 분석하며, 결정론성을 제거함으로써 선형 시간 내에 근사 계산이 가능한 지수적으로 더 작은 회로를 구축할 수 있음을 보여준다. 결정론이 없을 경우 MPE 추론이 비결정론적 ACs에서 트래이터블한 것과는 달리 비결정론적 회로에서는 비결정론적 MPE 추론이 비결정론적으로 난이도가 높아지며, 분해 가능성만 강제함으로써도 일반적으로 비결정론적인 분해 가능 회로에서는 비결정론적 MPE 해결이 가능하다는 점을 증명한다.

ABSTRACT

The past decade has seen a significant interest in learning tractable probabilistic representations. Arithmetic circuits (ACs) were among the first proposed tractable representations, with some subsequent representations being instances of ACs with weaker or stronger properties. In this paper, we provide a formal basis under which variants on ACs can be compared, and where the precise roles and semantics of their various properties can be made more transparent. This allows us to place some recent developments on ACs in a clearer perspective and to also derive new results for ACs. This includes an exponential separation between ACs with and without determinism; completeness and incompleteness results; and tractability results (or lack thereof) when computing most probable explanations (MPEs).

연구 동기 및 목표

• 결정론성, 분해 가능성, 스무스함 등의 핵심 성질의 역할과 의미를 명확히 하여 산술 회로의 다양한 변형을 비교할 수 있는 체계적 프레임워크를 제공하는 것.
• 산술 회로에서 결정론성의 완화가 미치는 영향에 관해 문헌에서 발생하는 모순과 상충되는 주장들을 해결하는 것.
• 특히 MPE 및 근사 질의와 같은 추론 작업의 트래이터블성과 회로 크기 사이의 상호 교환 관계를 조사하는 것.
• 결정론적, 분해 가능하며 스무스한 산술 회로에서 선형 시간 MPE 알고리즘의 정확성을 체계적으로 증명하는 것.
• 결정론성의 완화로 인해 발생하는 새로운 형태의 불완전성—특히 매개변수 불완전성—을 규명하고, 모델 컴파일링에 미치는 영향을 밝혀내는 것.

제안 방법

• 산술 회로를 단지 베이지안 네트워크 분포가 아니라 일반적인 요인의 표현으로 재구성함으로써 더 넓은 적용 가능성을 확보한다.
• 일반적인 요인의 맥락에서 분해 가능성, 스무스함, 결정론성의 형식적 정의를 제시하여 각 성질의 역할을 독립적으로 분리한다.
• 감소 기법을 활용하여 비결정론적 ACs에서 MPE 계산이 NP-난이도임을 보여주며, 이는 결정론적 회로에서는 트래이터블한 반면 비결정론적 회로에서는 그렇지 않음을 시사한다.
• D-MPE(결정론적 MPE)에서 D-PR(결정론적 확률 질의)로의 다항 시간 감소를 사용하여, 비결정론적 분해 가능 및 스무스한 ACs에서 MPE 추론이 트래이터블하지 않음을 증명한다.
• 일반적으로 비결정론적 분해 가능 회로에서는 비결정론적 MPE가 비결정론적으로 난이도가 높지만, 분해 가능성만 강제함으로써도 MPE 해결이 가능하다는 점을 증명한다.
• 결정론성, 분해 가능성, 스무스함을 만족하는 재구성된 산술 회로 정의 하에서 선형 시간 MPE 알고리즘의 정확성을 체계적으로 증명한다.

실험 결과

연구 질문

• RQ1 결정론성, 분해 가능성, 스무스함이 산술 회로에서 수행하는 정확한 역할과 의미적 영향은 무엇인가?
• RQ2 결정론성을 완화할 경우 근사 계산의 효율성과 산술 회로의 크기에 어떤 영향을 미치는가?
• RQ3 왜 비결정론적 산술 회로에서는 더 이상 MPE 추론이 트래이터블하지 않으며, 이 문제의 복잡도는 무엇인가?
• RQ4 분해 가능성만으로도 트래이터블한 MPE 추론이 가능할 수 있는가, 만약 그렇다면 어떻게 가능할 수 있는가?
• RQ5 결정론성을 완화함으로써 발생하는 불완전성의 형태는 무엇이며, 이는 모델에서 회로 컴파일링에 어떤 영향을 미치는가?

주요 결과

• 결정론성을 완화함으로써 선형 시간 근사 계산을 유지하면서도 지수적으로 더 작은 산술 회로를 구성할 수 있으며, 이는 결정론적과 비결정론적 ACs 사이에 지수적 분리가 존재함을 입증한다.
• 비결정론적 산술 회로에서 MPE 추론은 결정론적 회로에서는 트래이터블한 것과는 달리 NP-난이도이므로, 추론 효율성에 상당한 손실이 발생한다.
• 분해 가능성만 강제함으로써도 MPE 해결이 가능함을 보여주며, 이는 일반적으로 비결정론적 분해 가능 회로에서는 비결정론적 MPE가 난이도가 높음에도 불구하고 분해 가능성의 놀라운 계산적 능력을 드러낸다.
• 결정론성의 완화는 매개변수 불완전성을 초래하며, 이는 모든 유효한 인수 분해를 표현할 수 없음을 의미하며, 이는 베이지안 네트워크에서의 회로 컴파일링에 영향을 미친다.
• 재구성된 산술 회로 정의 하에서 결정론적, 분해 가능하며 스무스한 ACs에 대해 선형 시간 MPE 알고리즘이 체계적으로 정확하다고 증명된다.
• 분해 가능하고 스무스한 ACs를 위한 다항 시간 컴파일 알고리즘을 사용하면 MPE를 다항 시간 내에 계산할 수 있으므로, P = NP가 아닌 한 이러한 회로에서는 MPE가 트래이터블하지 않다.