[논문 리뷰] Robust Learning of Fixed-Structure Bayesian Networks

Yu Cheng, Ilias Diakonikolas외 2명|arXiv (Cornell University)|2016. 06. 23.

Bayesian Modeling and Causal Inference참고 문헌 29인용 수 7

한 줄 요약

이 논문은 최대 비율 $\epsilon$의 샘플이 적대적으로 손상된 샘플링 모델 하에서 고정 구조를 가진 이산 베이지안 네트워크에 대해 계산적으로 효율적인 강건한 학습 알고리즘을 제시한다. 이 알고리즘은 거의 최적의 표본 복잡도를 달성하며 다항 시간 내에 실행되며, 오차 보장이 $\epsilon$에 거의 선형적으로 스케일링되며 차원 $d$에 독립적이라, 차원에 의존하지 않는 오차 경계를 가진 최초의 방법이다.

ABSTRACT

We investigate the problem of learning Bayesian networks in a robust model where an $ε$-fraction of the samples are adversarially corrupted. In this work, we study the fully observable discrete case where the structure of the network is given. Even in this basic setting, previous learning algorithms either run in exponential time or lose dimension-dependent factors in their error guarantees. We provide the first computationally efficient robust learning algorithm for this problem with dimension-independent error guarantees. Our algorithm has near-optimal sample complexity, runs in polynomial time, and achieves error that scales nearly-linearly with the fraction of adversarially corrupted samples. Finally, we show on both synthetic and semi-synthetic data that our algorithm performs well in practice.

연구 동기 및 목표

• 표준 학습 알고리즘이 실패하는 상황인, 훈련 샘플의 일정 비율이 적대적으로 손상된 경우에 베이지안 네트워크를 학습하는 문제를 해결하기 위해.
• 차원에 의존하는 오차 경계에 의존하지 않고도 그러한 손상 조건 하에서도 강력한 오차 보장을 유지할 수 있는 계산적으로 효율적인 알고리즘을 개발하기 위해.
• 정보 이론적으로 거의 최적의 표본 복잡도를 달성하면서도 다항 시간 실행 시간을 보장하기 위해.
• 차원 $d$에 독립적으로, 손상된 샘플의 비율 $\epsilon$에 거의 선형적으로 스케일링되는 오차 보장을 제공하기 위해.
• 합성 및 반합성 데이터를 포함한 실험을 통해 실용적 효과를 입증하기 위해, 특히 ALARM 네트워크를 포함하여.

제안 방법

• 알고리즘은 입력 데이터셋 내에서 손상된 샘플을 식별하고 가중치를 낮추기 위해 필터링과 반복 정밀화 기반의 강건한 추정 프레임워크를 사용한다.
• 베이지안 네트워크의 구조를 활용하여 손상된 조건부 확률 분포를 고립하고 수정하기 위해, 조건부 확률 표에 강건한 평균 추정 기법의 변종을 적용한다.
• 각 부모 구성에 최소 확률이 존재한다는 핵심 가정에 기반하여, 손상에도 불구하고 신뢰할 수 있는 추정을 위한 충분한 통계적 신호를 확보한다.
• 헤프딩 부등식을 사용하여 신뢰 구간을 확보하기 위해 총 변동 거리의 추정치를 샘플링 기반으로 계산한다.
• 알고리즘은 고정된 네트워크 구조를 대상으로 하며, 특히 다중 값 변수를 이진 값 네트워크로의 환원을 통해 다중 값 베이지안 네트워크에 일반화한다.
• 강건한 통계와 베이지안 네트워크의 구조 제약 조건을 통합하여, 최종 추정치가 주어진 DAG 하에서 유효한 베이지안 네트워크를 유지하도록 보장한다.

실험 결과

연구 질문

• RQ1 최대 $\epsilon$ 비율의 샘플이 적대적으로 손상된 경우에도 정확도를 유지할 수 있는 고정 구조 베이지안 네트워크 학습을 위한 다항 시간 알고리즘을 설계할 수 있는가?
• RQ2 이러한 손상 상황에서 차원 $d$에 독립적인 오차 보장을 달성할 수 있는가?
• RQ3 임의의 손상(추가 및 삭제 포함)에 강건성을 유지하면서도 거의 최적의 표본 복잡도를 유지할 수 있는가?
• RQ4 알고리즘의 오차는 손상 비율 $\epsilon$에 어떻게 스케일링되며, 이를 거의 선형으로 만들 수 있는가?
• RQ5 이 알고리즘은 합성 및 실제 베이지안 네트워크 구조 모두에서 실용적으로 잘 작동하는가?

주요 결과

• 제안된 알고리즘은 오차가 손상 비율 $\epsilon$에 거의 선형적으로 스케일링되며, 이는 로그 인자에 대해 최적이며 최적이다.
• 다항 시간 내에 실행되며, 정보 이론적으로 거의 최적의 표본 복잡도를 가지며, 비강건한 최고의 알려진 경계에 로그 인자까지 일치한다.
• 오차 보장은 차원에 독립적이며, 변수 수 $d$가 증가함에 따라 악화되지 않는다.
• 합성 및 반합성 데이터, 특히 61개 노드와 820개 파라미터를 가진 ALARM 네트워크에 대한 실험 결과, 손상 상황에서 기준선보다 강건성과 정확도에서 뛰어난 성능을 보였다.
• 샘플 수가 $10^6$일 때, 최대 $\epsilon = 0.1$까지의 손상이 있는 경우에도 총 변동 거리 추정치가 0.4% 이내로 정확하게 추정되었으며, 알고리즘이 베이지안 네트워크를 성공적으로 학습시켰다.
• 다중 값 베이지안 네트워크에 대해 이진 인코딩 환원을 통해 일반화되었으며, 강건성과 효율성이 유지되었다.