[논문 리뷰] Learning Arithmetic Circuits

Daniel Lowd, Pedro Domingos|arXiv (Cornell University)|2012. 06. 13.

Bayesian Modeling and Causal Inference참고 문헌 19인용 수 70

한 줄 요약

이 논문은 추론 효율성을 직접 최적화하기 위해 회로 크기에 대한 페널티를 부여하는 방식으로 산술 회로를 학습하는 방법을 제안한다. 이는 베이지안 네트워크 학습과 회로 컴파일을 결합한 것으로, 추론 비용의 대체 지표로 회로 크기를 사용함으로써 정확도와 속도 면에서 표준 조건부 베이지안 네트워크보다 뛰어난 성능을 보이는 처리 가능한 모델을 학습한다.

ABSTRACT

Graphical models are usually learned without regard to the cost of doing inference with them. As a result, even if a good model is learned, it may perform poorly at prediction, because it requires approximate inference. We propose an alternative: learning models with a score function that directly penalizes the cost of inference. Specifically, we learn arithmetic circuits with a penalty on the number of edges in the circuit (in which the cost of inference is linear). Our algorithm is equivalent to learning a Bayesian network with context-specific independence by greedily splitting conditional distributions, at each step scoring the candidates by compiling the resulting network into an arithmetic circuit, and using its size as the penalty. We show how this can be done efficiently, without compiling a circuit from scratch for each candidate. Experiments on several real-world domains show that our algorithm is able to learn tractable models with very large treewidth, and yields more accurate predictions than a standard context-specific Bayesian network learner, in far less time.

연구 동기 및 목표

• 학습된 그래픽 모델의 추론 비효율성 문제를 해결한다. 이는 모델이 정확하더라도 여전히 추론이 비효율적인 경우가 있음.
• 모델 복잡도를 페널티로 부여함으로써 처리 가능한 추론을 직접 최적화하는 학습 프레임워크를 개발한다.
• 구조 선택을 이끄는 데 회로 컴파일을 학습 과정에 통합한다.
• 추론에 대해 처리 가능한 고트리위드 모델의 확장 가능한 학습을 가능하게 한다.
• 정확도와 런타임 모두에서 표준 조건부 베이지안 네트워크 학습기보다 뛰어난 성능을 달성한다.

제안 방법

• 모델의 우도와 산술 회로의 간선 수에 대한 페널티를 조합한 점수 함수를 사용한다.
• 각 학습 단계에서 조건부 분포의 후보 분할은 해당 결과 베이지안 네트워크를 산술 회로로 컴파일하여 평가된다.
• 컴파일된 회로의 크기를 추론 비용의 대체 지표로 사용하여 근사적 구조 탐색을 이끈다.
• 모든 후보에 대해 전체 재컴파일을 피하기 위해 회로 구조를 점진적으로 업데이트한다.
• 산술 회로에서 추론 비용이 간선 수에 선형적이라는 사실을 활용한다.
• 그리디한 베이지안 네트워크 학습과 회로 컴파일을 결합하여 모델 적합도와 처리 가능성의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 정확하고 추론이 효율적인 그래픽 모델을 학습할 수 있는가?
• RQ2 어떻게 추론 비용을 모델 학습 과정에 직접 통합할 수 있는가?
• RQ3 구조 학습에서 추론 복잡도의 효과적인 대체 지표로 회로 크기를 사용할 수 있는가?
• RQ4 학습 과정에 회로 컴파일을 통합하면 표준 베이지안 네트워크 학습기보다 더 뛰어난 성능을 낼 수 있는가?
• RQ5 처리 가능성은 유지하면서 고트리위드 모델로의 학습을 확장할 수 있는가?

주요 결과

• 제안된 방법은 표준 조건부 베이지안 네트워크 학습기보다 훨씬 높은 트리위드를 갖는 산술 회로를 학습한다.
• 학습된 모델은 실제 데이터셋에서 베이지안 네트워크 학습기의 기준 모델보다 더 높은 예측 정확도를 달성한다.
• 표준 조건부 베이지안 네트워크 학습 알고리즘보다 수개의 주기 수준 빠르게 실행된다.
• 회로 크기를 페널티로 사용함으로써 모델 적합도와 추론 효율성의 균형을 효과적으로 유지한다.
• 점진적 컴파일 기법은 전체 재컴파일 없이도 후보 구조의 효율적 평가를 가능하게 한다.
• 실험 결과는 본 방법이 잘 스케일업되며 실세계 응용에 적합한 처리 가능한 모델을 생성함을 확인한다.