[논문 리뷰] On tensor rank of conditional probability tables in Bayesian networks

Jiří Vomlel, Petr Tichavský|arXiv (Cornell University)|2014. 09. 22.

Bayesian Modeling and Causal Inference참고 문헌 8인용 수 3

한 줄 요약

이 논문은 실제 베이지안 네트워크의 많은 조건부 확률 표(CPTs)가 CP 텐서 분해를 통해 낮은 질량의 텐서로 잘 근사될 수 있음을 보여주며, 부모 수에 대해 지수적에서 선형으로 파rameter 요구량을 줄인다. 핵심 발견은 부모 수가 3개 이상인 CPT의 75%가 질량 6 이하로 정확하게 근사될 수 있으며, 이는 효율적인 모델링과 추론에 활용 가능한 숨겨진 저차원 구조를 시사한다.

ABSTRACT

A difficult task in modeling with Bayesian networks is the elicitation of numerical parameters of Bayesian networks. A large number of parameters is needed to specify a conditional probability table (CPT) that has a larger parent set. In this paper we show that, most CPTs from real applications of Bayesian networks can actually be very well approximated by tables that require substantially less parameters. This observation has practical consequence not only for model elicitation but also for efficient probabilistic reasoning with these networks.

연구 동기 및 목표

• 실제 응용에서 일반 표로 지정된 CPT들이 낮은 질량의 구조를 보이는지 조사하는 것.
• 전문가나 데이터로부터 고차원 조건부 확률을 도출하는 데 있어 실용적인 과제를 해결하는 것.
• 낮은 질량 근사가 확률적 추론에서 모델 구축을 단순화하고 계산 효율성을 향상시킬 수 있는지 탐색하는 것.
• 표준 베이지안 네트워크 레포지토리에서의 CPT 근사에 대해 CP 텐서 분해의 효과성을 평가하는 것.

제안 방법

• 각 CPT를 부모 구성에 따른 조건부 확률을 나타내는 다중 방향 배열(텐서)로 모델링하는 것.
• 각 CPT를 질량 1의 텐서의 합으로 분해함으로써 자유 매개변수의 수를 줄이는 CP 텐서 분해를 적용하는 것.
• 분해의 수치 최적화를 위해 빠른 감쇠 뉴턴-레벤버그(레벤버그-마르카르트) 알고리즘을 사용하는 것.
• 모든 부모 구성에 대해 원본 CPT와 근사된 CPT 간의 최대 절대 오차를 통해 근사 품질을 평가하는 것.
• 기준 성능을 확보하기 위해 동일한 치수를 가진 무작위로 생성된 텐서와 실제 CPT의 결과를 비교하는 것.
• 15개의 베이지안 네트워크 전반에서 구현 및 테스트를 위해 TENSORBOX MATLAB 패키지를 사용하는 것.

실험 결과

연구 질문

• RQ1 베이지안 네트워크 레포지토리에서의 실제 CPT들은 낮은 질량의 텐서로 잘 근사될 수 있는가?
• RQ2 실제 CPT에서 CP 분해의 질량과 근사 오차 사이에 어떤 관계가 있는가?
• RQ3 실제 CPT는 동일한 크기의 무작위 텐서보다 유의미하게 낮은 질량을 가지는가?
• RQ4 낮은 질량 근사는 CPT에서 요구되는 파rameter 수를 어느 정도 줄일 수 있는가?
• RQ5 CPT의 낮은 질량 구조는 의도된 도메인 지식을 반영하거나 모델 도출 과정을 향상시킬 수 있는가?

주요 결과

• 부모 수가 3개 이상인 CPT의 약 40%가 질량 2의 텐서로 잘 근사될 수 있으며(오차 < 0.001),
• 약 75%의 CPT가 질량 6 근사로 동일한 오차 기준을 충족한다.
• 오차가 0.001 이하가 되기 위해 질량 10 초과가 필요한 CPT는 전체의 15%에 불과하다.
• 동일한 치수를 가진 무작위로 생성된 CPT는 유사한 낮은 질량 근사 품질을 달성하지 못하며, 이는 실제 CPT가 본질적인 구조를 지닌다는 것을 시사한다.
• 결과적으로 실제 응용에서 유래한 많은 CPT는 완전히 일반적이지 않으며, 저차원의 잠재적 구조를 지닌다.