[논문 리뷰] Bounds on the number of inference functions of a graphical model

Sergi Elizalde, Kevin M. Woods|ArXiv.org|2006. 10. 06.

Bayesian Modeling and Causal Inference참고 문헌 16인용 수 8

한 줄 요약

이 논문은 그래픽 모델 내의 추론 함수 수에 대해 다항식 상한을 확립한다. 관측치에서 해석으로의 가능한 사상의 수가 매우 많음에도 불구하고, 일관된 매개수 선택을 통해 달성 가능한 추론 함수의 수는 다항식 수준임을 보여준다. 핵심 결과는 고정된 매개수를 가진 경우, 추론 함수의 수가 모델 복잡도 M에 대해 O(M^{d(d−1)})로 증가함을 보이며, 이는 상수 요소를 제외한 채로 날카로운 상한임을 보여주는 히든 마르코프 모델과 시퀀스 어ライン먼트 모델의 구성으로 확인된다.

ABSTRACT

Directed and undirected graphical models, also called Bayesian networks and Markov random fields, respectively, are important statistical tools in a wide variety of fields, ranging from computational biology to probabilistic artificial intelligence. We give an upper bound on the number of inference functions of any graphical model. This bound is polynomial on the size of the model, for a fixed number of parameters, thus improving the exponential upper bound given by Pachter and Sturmfels. We also show that our bound is tight up to a constant factor, by constructing a family of hidden Markov models whose number of inference functions agrees asymptotically with the upper bound. Finally, we apply this bound to a model for sequence alignment that is used in computational biology.

연구 동기 및 목표

• 고정된 매개수를 가진 그래픽 모델에서 가능한 서로 다른 추론 함수의 최대 수를 결정하는 것.
• 관측치에서 해석으로의 이중 지수적 수의 가능한 사상과, 매개수 기반 모델에서 유도되는 제한된 수의 일관된 추론 함수 사이의 명백한 모순을 해결하는 것.
• 고정된 매개수 조건 하에서 추론 함수의 수가 지수적이라기보다 다항식적임을 증명하는 것.
• 히든 마르코프 모델과 시퀀스 어라이먼트 모델의 명시적 구성 방법을 통해 이 다항식 상한이 점점 더 날카로운 상한임을 보여주는 것.

제안 방법

• 정렬 다각형의 정점과 정점의 정규 피라미드를 포함한 기하학적 및 조합 기법을 사용하여 추론 함수 수의 상한을 유도하는 것.
• 특정 해석이 최적일 때의 매개수 공간 영역을 추론 함수로 모델링하며, 이는 다각형의 정규 피라미드의 세포에 해당함.
• 정렬 점수 함수와 관련된 뉴턴 다각형 NP(fτ)의 구조를 이용하여 서로 다른 추론 함수의 수를 제한하는 것.
• 특정 이진 수열의 가족을 구성하여 정렬 다각형 내의 서로 다른 기울기 수가 Ω(n²)로 증가함을 보여, 이는 Ω(n²)개의 추론 함수를 의미함.
• 기초 그래픽 모델의 복잡도와 정규 코ーン의 배열을 분석하여, d-매개수 모델의 추론 함수 수가 O(M^{d(d−1)})임을 증명하는 것.
• 히든 마르코프 모델과 시퀀스 어라이먼트 모델의 가족을 구성하여, 이들의 추론 함수 수가 상한에 점점 더 가까이 수렴함을 보여, 상한의 날카로움을 입증하는 것.

실험 결과

연구 질문

• RQ1 고정된 매개수를 가진 그래픽 모델에서 발생할 수 있는 서로 다른 추론 함수의 최대 수는 얼마인가?
• RQ2 관측치에서 해석으로의 사상 수가 이중 지수적임에도 불구하고, 왜 추론 함수의 수가 훨씬 적은가?
• RQ3 추론 함수의 상한을 날카로운 상한으로 만들 수 있으며, 만약 가능하다면 어떤 모델 유형에 대해 가능한가?
• RQ4 실제 모델인 히든 마르코프 모델과 시퀀스 어라이먼트 시스템에서 추론 함수의 수는 모델 크기와 매개수의 수에 따라 어떻게 변화하는가?

주요 결과

• 고정된 d개의 매개수를 가진 그래픽 모델의 추론 함수 수는 모델 복잡도 M에 대해 O(M^{d(d−1)})로 상한이 제시되며, 이는 이전에 알려진 지수적 상한에 비해 상당한 향상이다.
• 히든 마르코프 모델의 가족을 구성함으로써, 이 상한이 점점 더 날카로운 상한임을 입증하였으며, 이 모델의 추론 함수 수는 Θ(M^{d(d−1)})로 증가한다.
• 두 매개수(오류 및 간격 페널티)를 가진 시퀀스 어라이먼트 모델의 경우, 추론 함수 수는 Θ(n²)이며, 여기서 n은 입력 시퀀스의 길이로, 다항식 스케일링을 확인한다.
• Ω(n²)개의 서로 다른 모서리 기울기를 가진 정렬 다각형의 구성은, 생물학적으로 의미 있는 매개수 값(α, β ≥ 0)을 제한하더라도 추론 함수 수가 Ω(n²)임을 증명한다.
• 매개수가 연속적으로 변할 때조차도 추론 함수의 수는 다항식 수준을 유지하므로, 높은 매개수 공간 차원성에도 불구하고 기능적 다양성은 제한됨을 나타낸다.
• 결과적으로, 주어진 모델에 대해 모든 추론 함수를 사전에 계산하는 것이 계산적으로 가능하며, 이는 관측치에 대한 빠른 질의 해결을 가능하게 한다.