[논문 리뷰] Learning Bayesian Networks with Low Rank Conditional Probability Tables

Adarsh Barik, Jean Honorio|arXiv (Cornell University)|2019. 05. 01.

Bayesian Modeling and Causal Inference인용 수 1

한 줄 요약

이 논문은 블랙박스 모델으로부터 적은 수의 조건부 확률 질의를 통해 낮은 질량의 조건부 확률 표를 가진 베이지안 네트워크의 정확한 유도 구조를 학습하는 방법을 제안한다. 낮은 질량성과 집합 함수의 푸리에 분석을 연결함으로써, 다항 시간 내에 구조 복원이 가능하고 표본 복잡도도 다항식 수준을 유지함으로써, 제한된 데이터 접근 조건에서도 효율적이고 증명 가능하게 정확한 학습을 가능하게 한다.

ABSTRACT

In this paper, we provide a method to learn the directed structure of a Bayesian network using data. The data is accessed by making conditional probability queries to a black-box model. We introduce a notion of simplicity of representation of conditional probability tables for the nodes in the Bayesian network, that we call ``low rankness''. We connect this notion to the Fourier transformation of real valued set functions and propose a method which learns the exact directed structure of a `low rank` Bayesian network using very few queries. We formally prove that our method correctly recovers the true directed structure, runs in polynomial time and only needs polynomial samples with respect to the number of nodes. We also provide further improvements in efficiency if we have access to some observational data.

연구 동기 및 목표

• 블랙박스 모델을 통해 오직 조건부 확률 질의만 제공되는 상황에서 베이지안 네트워크의 구조 학습 문제를 해결하기 위해.
• 표현의 단순성 개념을 '낮은 질량성'으로 정식화하여 효율적인 구조 학습을 가능하게 하기 위해.
• 최소한의 데이터와 질의를 사용하여 낮은 질량의 베이지안 네트워크의 진정한 유도 구조를 복원하는 다항 시간 알고리즘을 개발하기 위해.
• 관측 데이터도 이용 가능한 경우에 효율성을 향상시키기 위해 방법을 확장하기 위해.

제안 방법

• 조건부 확률 표(CPT)의 '낮은 질량성' 개념을 도입하여 표현의 단순성 척도로 사용하기 위해.
• 낮은 질량의 CPT와 실수 값의 집합 함수의 푸리에 변환 간의 연결 고리를 설정하기 위해.
• 조건부 확률 질의를 사용하여 진정한 네트워크 구조를 추론하는 질의 효율적인 알고리즘을 설계하기 위해.
• 푸리에 기반 분해를 활용하여 질의 비용을 최소화하면서 노드의 부모 집합을 식별하기 위해.
• 구조 복원에 대해 다항 시간 복잡도와 다항 표본 요구 조건을 보장하기 위해.
• 관측 데이터를 통합하여 학습 과정에서 질의 효율성을 추가로 향상시키기 위해.

실험 결과

연구 질문

• RQ1 블랙박스 모델로의 조건부 확률 질의만을 사용하여 베이지안 네트워크의 유도 구조를 정확히 복원할 수 있는가?
• RQ2 CPT의 낮은 질량성 개념을 집합 함수의 푸리에 분석과 어떻게 정식으로 연결할 수 있는가?
• RQ3 낮은 질량의 베이지안 네트워크에 대해 정확한 구조 복원을 보장하기 위해 필요한 최소 질의 수는 얼마인가?
• RQ4 노드 수가 증가하더라도 정확성과 다항 복잡도를 유지하면서 효율적으로 확장 가능한가?
• RQ5 관측 데이터 접근이 낮은 질량성 가정 하에 구조 학습의 효율성을 어떻게 향상시키는가?

주요 결과

• 제안된 방법은 다항 수준의 질의를 사용하여 낮은 질량의 베이지안 네트워크의 정확한 유도 구조를 증명 가능하게 복원한다.
• 알고리즘은 다항 시간 내에 실행되며, 노드 수에 대해 다항 수준의 표본만 필요로 한다.
• 낮은 질량의 CPT와 집합 함수의 푸리에 변환 간의 연결 고리는 효율적이고 정확한 구조 추론을 가능하게 한다.
• 최소한의 질의 접근을 통해 정확한 복원을 달성하여 블랙박스 모델 환경에 적합하다.
• 추가적인 관측 데이터는 질의 효율성을 더욱 향상시켜 실용적 확장성을 높인다.