[논문 리뷰] An Adaptive Kernel Approach to Federated Learning of Heterogeneous Causal Effects

Thanh Vinh Vo, Arnab Bhattacharyya외 2명|arXiv (Cornell University)|2023. 01. 01.

Privacy-Preserving Technologies in Data인용 수 7

한 줄 요약

이 논문은 원시 데이터를 공유하지 않고 분산된 비i.i.d. 데이터 소스 간의 이질적 인과 효과를 추정하는 페더레이티드 러닝 프레임워크인 CausalRFF를 제안한다. 무작위 푸리에 기저를 활용해 손실 함수를 분해하고, 소스 간의 전이 계수를 적응적으로 학습시킴으로써, 기밀 보장을 위한 인과 추론이 가능하며, 최소 최대 하한을 통해 추정 효율성이 검증된다.

ABSTRACT

We propose a new causal inference framework to learn causal effects from multiple, decentralized data sources in a federated setting. We introduce an adaptive transfer algorithm that learns the similarities among the data sources by utilizing Random Fourier Features to disentangle the loss function into multiple components, each of which is associated with a data source. The data sources may have different distributions; the causal effects are independently and systematically incorporated. The proposed method estimates the similarities among the sources through transfer coefficients, and hence requiring no prior information about the similarity measures. The heterogeneous causal effects can be estimated with no sharing of the raw training data among the sources, thus minimizing the risk of privacy leak. We also provide minimax lower bounds to assess the quality of the parameters learned from the disparate sources. The proposed method is empirically shown to outperform the baselines on decentralized data sources with dissimilar distributions.

연구 동기 및 목표

• 분산된 비i.i.i.d. 데이터 소스에서 인과 효과를 추정하면서도 데이터 기밀성을 유지하는 도전 과제를 해결하기 위해.
• 기관 간 원시 데이터 공유가 필요 없는 페더레이티드 인과 추론 방법을 개발하기 위해.
• 데이터 분포가 소스 간에 크게 다를 경우에도 이질적 인과 효과를 정확하게 추정할 수 있도록 하기 위해.
• 제안된 프레임워크 하에서 추정 오차의 이론적 하한을 최소 최대 하한을 통해 설정하기 위해.
• 더 강화된 기밀 보장을 위해 다중 당사자 차별적 프라이버시와의 통합을 탐색하기 위해.

제안 방법

• 방법은 무작위 푸리에 기저(RFF)를 사용해 전역 손실 함수를 소스별 구성요소로 분해하여 페더레이티드 최적화를 가능하게 한다.
• 사전 유사도 측정 방법에 대한 지식이 없더라도 소스 간 유사성을 모델링할 수 있도록 적응형 전이 계수를 도입한다.
• 구조적 인과 모델(SCM)에 기반한 프레임워크로, 분산 환경에서 개별 치료 효과를 추정할 수 있도록 한다.
• 목적 함수는 각 클라이언트가 국지적 구성요소를 최적화하면서도 공유된 커널 파rameter를 통해 전역 일관성을 유지할 수 있도록 구성된다.
• 최소 최대 하한은 Fano의 부등식과 거리 엔트로피 논증을 사용해 유도되며, 제안된 설정 하에서 추정의 기본 한계를 설정한다.
• 연속형 및 이진형 결과 모두를 지원하며, KL 발산 하한을 통해 이항 분포 결과로 이론적 분석을 확장한다.

실험 결과

연구 질문

• RQ1 데이터 소스의 분포가 크게 다를 경우, 분산 환경에서 인과 효과를 정확하게 추정할 수 있는가?
• RQ2 소스 간 유사도에 대한 사전 지식 없이 전이 계수를 어떻게 적응적으로 학습할 수 있는가?
• RQ3 기밀 보장 조건 하에서 분산 인과 추론의 추정 정확도에 대한 기본 한계는 무엇인가?
• RQ4 데이터가 비i.i.d.이고 기밀 보장이 엄격히 적용될 경우, 제안된 방법이 중심 집중 기반 기준보다 우월한 성능을 보일 수 있는가?
• RQ5 다중 당사자 차별적 프라이버시 통합이 인과 추정기의 성능과 유용성에 어떤 영향을 미치는가?

주요 결과

• 제안된 CausalRFF 프레임워크는 분포가 상이한 분산 데이터 소스에서 기준 방법보다 우수한 추정 정확도를 보이며, 성능 향상을 입증한다.
• 최소 최대 하한은 CausalRFF의 추정 오차가 이론적 최적 속도의 일정 요인 내에 있음을 확인하여 효율성을 검증한다.
• 이진 결과의 경우 유도된 하한은 $ \frac{m\log(2\sqrt{m})}{32\sqrt{2}\sum_{\mathsf{s}}n_{\mathsf{s}}(1+\sum_{\mathsf{v}\neq\mathsf{s}}\eta^{\mathsf{s},\mathsf{v}})} $ 로 표현되며, 데이터 분포와 전이 계수의 영향을 반영한다.
• 방법은 원시 데이터 공유를 피하고 통신 시 모델 파rameter와 기울기만을 사용함으로써 기밀 보장을 달성한다.
• IHDP 데이터셋에 대한 실증 평가에서 10회의 반복 평가에서 일관된 성능을 보이며 평가 지표의 평균은 안정적이고 표준 오차는 낮게 유지된다.
• 이론적 분석은 소스 수가 증가하더라도 적응형 커널 구조 덕분에 프레임워크가 강인함을 확인한다.