[논문 리뷰] FedDAG: Federated DAG Structure Learning

Erdun Gao, Junjia Chen외 4명|arXiv (Cornell University)|2021. 12. 07.

Advanced Graph Neural Networks인용 수 13

한 줄 요약

FedDAG는 비밀 보장이 필요한 분산된 데이터에서 인과적 구조를 탐색할 수 있도록 중앙집중식이 아닌, 개인정보 보호 기반의 기울기 기반 분산 학습 프레임워크를 제안한다. 방향성 없는 사이클 그래프(DAG)의 학습을 위해 이중 모델 아키텍처를 도입하여 그래프 구조 학습과 메커니즘 근사화를 분리하고, 연속적이고 미분 가능한 제약 조건을 통해 사이클 없음을 보장함으로써, 데이터 이질성 조건에서도 효율적인 최적화와 견고한 성능을 달성한다. 이는 중앙집중식 기준선 대비 높은 구조적 정확도를 확보하면서도 원시 데이터를 공유하지 않음으로써 개인정보 보호를 유지한다.

ABSTRACT

To date, most directed acyclic graphs (DAGs) structure learning approaches require data to be stored in a central server. However, due to the consideration of privacy protection, data owners gradually refuse to share their personalized raw data to avoid private information leakage, making this task more troublesome by cutting off the first step. Thus, a puzzle arises: extit{how do we discover the underlying DAG structure from decentralized data?} In this paper, focusing on the additive noise models (ANMs) assumption of data generation, we take the first step in developing a gradient-based learning framework named FedDAG, which can learn the DAG structure without directly touching the local data and also can naturally handle the data heterogeneity. Our method benefits from a two-level structure of each local model. The first level structure learns the edges and directions of the graph and communicates with the server to get the model information from other clients during the learning procedure, while the second level structure approximates the mechanisms among variables and personally updates on its own data to accommodate the data heterogeneity. Moreover, FedDAG formulates the overall learning task as a continuous optimization problem by taking advantage of an equality acyclicity constraint, which can be solved by gradient descent methods to boost the searching efficiency. Extensive experiments on both synthetic and real-world datasets verify the efficacy of the proposed method.

연구 동기 및 목표

• 원시 데이터를 공유할 수 없는 분산형, 개인정보 민감한 환경에서 인과적 DAG 구조를 학습하는 데 도전하는 것.
• 데이터 프라이버시를 유지하면서도 기초 인과 그래프를 공동 탐색할 수 있는 분산 학습 프레임워크를 개발하는 것.
• 추가 노이즈 모델(ANM) 가정 하에 클라이언트 간 메커니즘과 노이즈 분포의 이질성으로 인한 데이터 이질성을 다루는 것.
• 기울기 기반 훈련을 위한 효율적인 연속 최적화 문제로 DAG 구조 학습을 공식화하고, 등식 형태의 사이클 없음 제약 조건을 도입하는 것.
• FedDAG가 원시 데이터를 공유하지 않더라도 중앙집중식 기준선 수준의 성능을 달성할 수 있음을 입증하는 것, 특히 비독립 동일 분포(non-iid) 조건에서도 동일하게 성능을 유지하는 것.

제안 방법

• 각 클라이언트는 이중 모델 아키텍처를 사용한다: DAG 간선과 방향을 추론하는 그래프 구조 학습(GSL) 헤드와 로컬 데이터를 기반으로 변수 간 의존성을 모델링하는 메커니즘 근사화(MA) 헤드.
• GSL 구성 요소는 기울기 기반 최적화 중에 유효한 DAG를 유지하기 위해 트레이스 기반 페널티 방법(예: Tr(sin(πA)))을 활용한 연속적이고 미분 가능한 사이클 없음 제약 조건의 연속적 근사화를 통해 기울기 가능한 인접 행렬을 학습한다.
• MA 구성 요소는 신경망을 사용하여 구조 방정식을 모델링하며, 각 클라이언트의 로컬 데이터에서 독립적으로 훈련되어 데이터 이질성에 적응한다.
• 클라이언트는 서버에서 표준 분산 학습 집계 방식에 따라 라우팅된 모델 파라미터만을 교환하며, 원시 데이터를 공유하지 않고 글로벌 모델을 공동으로 업데이트한다.
• 두 구성 요소를 통합하기 위해 통합 손실 함수를 도입하여 구조 정확도와 메커니즘 충실도를 동시에 최적화함으로써 엔드 투 엔드 훈련을 가능하게 한다.
• 이 방법은 전체 모델 공유와 부분 모델 공유(예: GS-FedDAG에서 그래프 전용 평균화)를 모두 지원하여 다양한 통신 전략을 유연하게 적용할 수 있다.

실험 결과

연구 질문

• RQ1 개인정보 보호 제약 조건 하에 원시 데이터를 공유하지 않고도 분산된 데이터에서 DAG 구조를 효과적으로 학습할 수 있는가?
• RQ2 특히 메커니즘과 노이즈의 이질성이 발생할 경우, 인과적 구조 식별을 유지하면서도 분산 DAG 학습에서 데이터 이질성을 어떻게 다룰 수 있는가?
• RQ3 연속적이고 미분 가능한 사이클 없음 제약 조건의 공식화가 기울기 하강법을 통한 효율적이고 확장 가능한 분산 환경에서의 DAG 학습을 가능하게 하는가?
• RQ4 비독립 동일 분포 조건 하에서 FedDAG의 성능은 중앙집중식 기준선 대비 어떤가? 특히 구조 정확도 측면에서.
• RQ5 이중 모델 아키텍처(GSL + MA)는 분산 DAG 학습에서 데이터 이질성에 대한 일반화 능력과 견고성을 얼마나 향상시키는가?

주요 결과

• 합성 데이터셋에서 FedDAG는 강한 데이터 이질성 조건 하에서도 중앙집중식 기준선 대비 10% 이내의 구조적 해밍 거리(SHD) 성능을 달성한다.
• 실제 fMRI 및 유전자 조절 네트워크 데이터셋에서 FedDAG는 기존의 분산 및 비분산 DAG 학습 방법보다 높은 구조 정확도와 분포 이질성에 대한 강건성을 확보한다.
• 이중 아키텍처는 데이터 이질성 조건에서 성능 향상에 기여하며, MA 헤드가 클라이언트별 적응을 가능하게 하고 GSL 헤드가 글로벌 일관성을 유지한다.
• 연속적 사이클 없음 제약 조건의 사용은 이산적 탐색이나 허술한 근사화 기법이 필요 없이 안정적이고 효율적인 기울기 기반 훈련을 가능하게 한다.
• GS-FedDAG에서의 부분 모델 공유(예: 그래프 전용 평균화) 역시 뛰어난 성능을 보이며, 구조 수준의 정보 공유의 효과성을 입증한다.
• 메커니즘과 노이즈 분포가 클라이언트 간으로 다양하더라도 FedDAG는 높은 성능을 유지하며, ANM 가정 하에서의 강건성을 검증한다.