[논문 리뷰] You Only Derive Once (YODO): Automatic Differentiation for Efficient Sensitivity Analysis in Bayesian Networks

Rafael Ballester‐Ripoll, Manuele Leonelli|arXiv (Cornell University)|2022. 06. 17.

Bayesian Modeling and Causal Inference인용 수 10

한 줄 요약

이 논문은 자동 미분과 정확한 추론을 활용하여 베이지안 네트워크의 모든 민감도 값을 단일 패assing으로 계산하는 새로운 방법 YODO (You Only Derive Once)를 소개한다. 기존의 유한 차분 방법에 비해 수개의 주기적 속도 향상을 이룬다. 이 방법은 최대 100,000개의 파라미터를 가진 네트워크에서 효율적이고 확장 가능한 민감도 분석을 가능하게 하며, PyTorch 기반 구현이 무료로 제공된다.

ABSTRACT

Sensitivity analysis measures the influence of a Bayesian network's parameters on a quantity of interest defined by the network, such as the probability of a variable taking a specific value. In particular, the so-called sensitivity value measures the quantity of interest's partial derivative with respect to the network's conditional probabilities. However, finding such values in large networks with thousands of parameters can become computationally very expensive. We propose to use automatic differentiation combined with exact inference to obtain all sensitivity values in a single pass. Our method first marginalizes the whole network once using e.g. variable elimination and then backpropagates this operation to obtain the gradient with respect to all input parameters. We demonstrate our routines by ranking all parameters by importance on a Bayesian network modeling humanitarian crises and disasters, and then show the method's efficiency by scaling it to huge networks with up to 100'000 parameters. An implementation of the methods using the popular machine learning library PyTorch is freely available.

연구 동기 및 목표

• 수천 개의 파라미터를 가진 대규모 베이지안 네트워크에서 기존의 단일 방향 민감도 분석 방법의 계산 비효율성을 해결하기 위해.
• 반복적인 추론 없이도 모든 민감도 값—즉, 출력 확률이 네트워크 파라미터에 대해 미분한 편도수—를 효율적이고 확장 가능한 방법으로 계산하기 위한 방법을 개발하기 위해.
• 베이지안 네트워크에서 가장 영향력 있는 파라미터를 신속하게 식별함으로써 모델 검증 및 리스크 평가를 지원하기 위해.
• 기존 확률 모델링 워크플로우에 통합할 수 있는 실용적이고 오픈소스의 PyTorch 기반 구현을 제공하기 위해.

제안 방법

• 먼저 정확한 추론(예: 변수 제거)을 한 번 수행하여 네트워크의 연합 확률 분포를 계산한다.
• 그런 다음 추론 과정의 계산 그래프를 통해 역전파를 적용하여 모든 조건부 확률 파라미터에 대한 기울기를 동시에 계산한다.
• 자동 미분을 사용하여 민감도 함수의 기울기—즉, 관심 있는 출력 확률이 각 네트워크 파라미터에 대해 편도수—를 계산한다.
• 이 방법은 추론 과정을 미분 가능한 계산 그래프로 간주하여 역전파를 통해 효율적인 기울기 계산을 가능하게 한다.
• 이 방법은 비영 민감도를 가진 파라미터(파라미터 민감도 집합)의 식별과 동시에 증가/감소 효과 방향의 결정을 지원한다.
• 구현은 PyTorch를 사용하여 자동 미분 엔진의 이점을 활용하며, GPU 가속과 머신러닝 파ip라인과의 원활한 통합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 자동 미분이 고성능을 기대할 수 있는 대규모 베이지안 네트워크에서 민감도 값을 효과적으로 계산하는 데 적용될 수 있는가?
• RQ2 크기와 복잡도가 다양한 네트워크에서 기존의 유한 차분 추정 방법과 비교해 볼 때, 제안된 방법의 성능는 어떠한가?
• RQ3 수만 개의 파라미터를 가진 대규모 베이지안 네트워크에서도 낮은 계산 오버헤드를 유지하면서 확장 가능한가?
• RQ4 이 방법은 실생활 리스크 평가 응용 분야에서 베이지안 네트워크의 가장 영향력 있는 파라미터를 신속하게 식별할 수 있는가?
• RQ5 이 방법은 다중 방향 민감도 분석과 허용 가능한 편차 계산을 지원하도록 확장될 수 있는가?

주요 결과

• YODO는 단일 추론 패assing을 통해 모든 민감도 값을 계산하여 대규모 네트워크에서 수시간이 걸리던 계산 시간을 수초로 단축시켰다.
• 97,851개의 파라미터를 가진 Pathfinder 네트워크에서 YODO는 0.188초 만에 모든 민감도 값을 계산했고, 반면 유한 차분 방법은 8,596.81초가 소요되었다.
• 19,226개의 파라미터를 가진 Munin1 네트워크에서는 YODO가 14.39초에 완료되었고, 유한 차분 방법은 113,000초 이상이 소요되었다.
• 인간주의 위기 베이지안 네트워크에서 YODO는 상위 20개의 영향력 있는 파라미터를 성공적으로 순위 매겨, 출력 확률에 대한 증가 및 감소 효과를 모두 식별했다.
• 시험된 10개의 벤치마크 네트워크 전반에서 YODO는 기존의 유한 차분 방법 대비 항상 수개의 주기적 성능 향상을 보였다.
• 오픈소스의 PyTorch 기반 구현은 기존의 베이지안 네트워크 도구에 효율적으로 통합할 수 있으며, 향후 다중 방향 민감도 및 허용 가능한 편차 분석을 위한 확장도 지원한다.