[논문 리뷰] Efficient Algorithms for Bayesian Network Parameter Learning from Incomplete Data

Guy Van den Broeck, Karthika Mohan외 2명|arXiv (Cornell University)|2014. 11. 25.

Bayesian Modeling and Causal Inference참고 문헌 26인용 수 20

한 줄 요약

이 논문은 MCAR 및 MAR 결손 메커니즘 하에서 완전하지 않은 데이터로부터 베이지안 네트워크 파라미터를 학습하기 위한 반복적이지 않고 추론이 없는 알고리즘 가족을 제안한다. 일반적인 결손 그래프 프레임워크를 활용하여, 단일 데이터 패assing을 통해 일致하고 닫힌 형태의 파라미터 추정치를 계산함으로써, EM에 비해 수개의 주기적 속도 향상을 달성하면서도 대규모 데이터셋에서 정확도를 유지하거나 향상시킨다.

ABSTRACT

We propose an efficient family of algorithms to learn the parameters of a Bayesian network from incomplete data. In contrast to textbook approaches such as EM and the gradient method, our approach is non-iterative, yields closed form parameter estimates, and eliminates the need for inference in a Bayesian network. Our approach provides consistent parameter estimates for missing data problems that are MCAR, MAR, and in some cases, MNAR. Empirically, our approach is orders of magnitude faster than EM (as our approach requires no inference). Given sufficient data, we learn parameters that can be orders of magnitude more accurate.

연구 동기 및 목표

• 완전하지 않은 데이터로부터 베이지안 네트워크 파라미터를 학습할 때 EM 및 기울기 기반 최적화와 같은 반복적 방법의 확장성과 계산 비효율성 문제를 해결하기 위해.
• 고트리위드 또는 복잡한 구조에서 추론이 비가역적인 경우, 베이지안 네트워크에서 파라미터 학습 중 추론이 필요 없도록 하기 위해.
• 반복적 최적화나 다수의 재시작이 필요 없이 MCAR 및 MAR 결손 가정 하에서 일관된 파라미터 추정치를 제공하기 위해.
• EM이 계산 한계로 인해 실패하는 대규모 데이터셋과 복잡한 네트워크에서도 작동하는 실용적이고 확장 가능한 파라미터 학습을 가능하게 하기 위해.
• EM에 비해 효율성과 강건성이 뛰어난 즉각적인 대체 수단을 제공함으로써, 완전하지 않은 데이터 상황에서 베이지안 네트워크의 적용 가능성을 넓히기 위해.

제안 방법

• 결손 메커니즘을 가장 일반적이고 최소한의 제약을 가진 결손 그래프를 사용하여 표현하여, MCAR 및 MAR 가정을 손상시키지 않고 포괄한다.
• 이전 연구에서 유도된 닫힌 형태의 식별 프레임워크를 적용하여, 관측된 데이터에서 직접 파라미터 추정치의 명시적 표현을 유도함으로써 추론을 피한다.
• 결손값을 존재하지 않는 것처럼 간주하여, 단일 데이터 패assing을 통해 최대우도 추정치를 닫힌 형태로 계산한다.
• 결손 그래프 내의 조건부 인적성 구조를 활용하여 데이터로부터 더 많은 정보를 요약하고 추출함으로써 추정 효율성을 향상시킨다.
• 추가적인 결손 메커니즘 정보가 제공될 경우, 일부 MNAR 케이스를 처리할 수 있도록 방법을 확장하여 수렴성과 정확도를 향상시킨다.
• 반복적 최적화를 완전히 회피함으로써, EM 및 기울기 기반 방법에서 흔히 발생하는 국소 최적점 문제를 제거한다.

실험 결과

연구 질문

• RQ1 반복적 추론이나 최적화 없이 완전하지 않은 데이터로부터 일관된 베이지안 네트워크 파라미터 추정이 가능한가?
• RQ2 MCAR 및 MAR 하에서 계산적으로 효율적이고 통계적으로 일관된 반복적이지 않고 닫힌 형태의 파라미터 추정 방법을 개발할 수 있는가?
• RQ3 대규모 또는 복잡한 데이터셋에서 속도, 정확도, 확장성 측면에서 제안된 방법이 EM 및 기울기 기반 방법과 비교해 어떻게 성능을 내는가?
• RQ4 결손 과정에 대한 보조 정보가 제공될 경우, 방법이 MNAR 메커니즘을 얼마나 넓게 처리할 수 있는가?
• RQ5 실제 응용에서 완전하지 않은 데이터를 다룰 때, 방법이 EM의 실용적인 즉각 대체 수단으로 사용될 수 있는가?

주요 결과

• 제안된 방법은 반복적 추론 단계가 없이 EM보다 수개의 주기적 빠른 학습을 달성하여 대규모 데이터셋에 적합하다.
• 고트리위드를 가진 대규모 네트워크에서는 EM-JT와 EM-BP가 25분의 시간 제한 내에 한 번의 EM 반복조차 완료하지 못했지만, 제안된 D-MAR 및 F-MAR 방법은 효과적으로 확장되었다.
• 더 큰 데이터셋에서는 F-MAR 방법이 최고의 가능도 점수(볼드체)를 기록하여, 근사 추론을 사용함에도 불구하고 EM-BP를 정확도 면에서 능가했다.
• MCAR 및 MAR 하에서 제안된 방법은 일관된 파라미터 추정치를 생성하며, 데이터셋 크기가 증가함에 따라 진짜 파라미터에 수렴한다.
• 결손이 없는 경우, 방법은 표준 완전 데이터 학습과 동일한 최대우도 추정치를 회복하여 정확성을 확인한다.
• 결손 메커니즘이 부분적으로만 알려져 있을 경우에도 방법은 강건하고 정확하며, 특히 결손 과정에 대한 추가적인 구조적 정보가 제공될 경우 더욱 향상된다.