[논문 리뷰] Towards Federated Bayesian Network Structure Learning with Continuous Optimization

Ignavier Ng, Kun Zhang|arXiv (Cornell University)|2021. 10. 18.

Bayesian Modeling and Causal Inference참고 문헌 64인용 수 8

한 줄 요약

이 논문은 수직으로 분할된 데이터를 가진 클라이언트 간의 프라이버시를 보장하는 협업을 가능하게 하는 연속 최적화를 통한 ADMM 기반 피어드 베이지안 네트워크 구조 학습 방법을 제안한다. 클라이언트 간에 오직 모델 파라미터만 교환함으로써 선형 및 비선형 케이스에서 모두 합성 및 실재 데이터셋에서 베이스라인을 능가하는 뛰어난 성능을 달성하며, 특히 많은 소규모 클라이언트 환경에서 뛰어난 성능을 발휘한다.

ABSTRACT

Traditionally, Bayesian network structure learning is often carried out at a central site, in which all data is gathered. However, in practice, data may be distributed across different parties (e.g., companies, devices) who intend to collectively learn a Bayesian network, but are not willing to disclose information related to their data owing to privacy or security concerns. In this work, we present a federated learning approach to estimate the structure of Bayesian network from data that is horizontally partitioned across different parties. We develop a distributed structure learning method based on continuous optimization, using the alternating direction method of multipliers (ADMM), such that only the model parameters have to be exchanged during the optimization process. We demonstrate the flexibility of our approach by adopting it for both linear and nonlinear cases. Experimental results on synthetic and real datasets show that it achieves an improved performance over the other methods, especially when there is a relatively large number of clients and each has a limited sample size.

연구 동기 및 목표

• 다양한 클라이언트 간에 수직으로 분할된 데이터로부터 베이지안 네트워크 구조를 학습하면서도 데이터 프라이버시를 보존하는 문제에 대응하기 위해.
• 이산 최적화 방법의 한계를 극복하고, 연속 최적화를 활용한 피어드 러닝을 통한 베이지안 네트워크 구조 학습을 가능하게 하기 위해.
• 선형 및 비선형 베이지안 네트워크에 모두 적용 가능한 유연하고 프라이버시를 보장하는 프레임워크를 개발하기 위해.
• 클라이언트가 개별적으로 가진 표본 수가 제한적인 경우 기존 방법에 비해 향상된 성능을 보여주기 위해.

제안 방법

• 최적화 과정을 클라이언트 간에 분산시키기 위해 상호작용 방법의 다중 승수(ADMM)를 사용하여 오직 모델 파라미터만 공유함을 보장한다.
• 순환성의 대수적 특성 기반 연속 최적화 기법을 활용하여, 미분 가능하고 확장 가능한 구조 학습을 가능하게 한다.
• NOTEARS 프레임워크(Zheng 등, 2018, 2020)를 피어드 환경에 적응시켜 선형 가우시안 및 비선형(MLP 기반) 모델 모두를 지원한다.
• 클라이언트들이 반복적으로 국소 모델을 업데이트하고 공유된 이중 변수와 파라미터를 통해 동기화하는 공식 기반 최적화 전략을 구현한다.
• 모듈러하고 확장 가능한 최적화 파이프라인을 설계하여 수평적 데이터 분할 외에도 향후 수직 데이터 분할을 지원한다.
• 원시 데이터 교환을 피하고 오직 모델 파라미터 업데이트에 의존함으로써 프라이버시 보존 통신을 통합한다.

실험 결과

연구 질문

• RQ1 베이지안 네트워크 구조 학습을 위한 연속 최적화 방법이 프라이버시 제약 조건이 있는 피어드 환경에 효과적으로 적응될 수 있는가?
• RQ2 제한된 클라이언트 데이터 하에서 ADMM 기반 피어드 BNSL의 성능이 중심화된 및 비피어드 베이스라인과 비교해 어떻게 되는가?
• RQ3 작은 개별 데이터셋을 가진 많은 수의 클라이언트로 확장할 경우, 제안된 방법이 안정성과 정확성을 유지하는 정도는 어느 정도인가?
• RQ4 신경망을 사용한 비선형 베이지안 네트워크로의 확장이 프라이버시 및 수렴성을 유지하면서 가능할 수 있는가?
• RQ5 피어드 BNSL에서 모델 파라미터를 공유할 경우 프라이버시 영향은 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 제안된 ADMM 기반 피어드 BNSL 방법은 특히 클라이언트 수가 많고 개별 클라이언트의 표본 수가 적은 환경에서, 모든 클라이언트 구성에서 기존의 중심화된 기준선(NOTEARS-AllData)에 근접한 성능을 보이며, 구조 히브닝 거리(SHD) 측면에서 기존의 베이스라인을 능가한다.
• 선형 케이스에서는 모든 클라이언트 구성에서 중심화된 기준선(NOTEARS-AllData)에 근접한 SHD 값을 달성하여 뛰어난 성능 안정성을 입증한다.
• MLP 기반 비선형 모델의 경우, 16개의 클라이언트가 있는 환경에서도 NOTEARS-MLP-ADMM가 다른 베이스라인보다 중심화된 솔루션에 더욱 가까운 SHD 결과를 지속적으로 달성한다.
• K ∈ {2,4,8,16}의 다양한 클라이언트 수에 걸쳐 안정적인 성능을 유지하여 클라이언트 확장성에 대한 강건성을 입증한다.
• 개별 클라이언트가 의미 있는 구조를 독립적으로 학습할 수 없는 낮은 데이터 환경에서 일반화 성능이 향상됨을 보여준다.
• 휴리스틱한 국소 모델 집합보다 연속 최적화 및 파라미터 교환의 중요성을 검증한다.