[논문 리뷰] Achieving Model Fairness in Vertical Federated Learning

Changxin Liu, Zhenan Fan외 5명|arXiv (Cornell University)|2021. 09. 17.

Privacy-Preserving Technologies in Data참고 문헌 38인용 수 12

한 줄 요약

이 논문은 데이터 기밀성을 유지하면서도 비중첩 특성 설정에서 모델의 공정성을 다루는 공정한 수직联邦학습(Vertical Federated Learning, VFL) 프레임워크를 제안한다. 공정성을 제약 조건이 있는 최소화-최대화 최적화 문제로 공식화하고, 암호화된 통신을 통해 비동기 이중 상승 알고리즘으로 해결하며, O(δ⁻⁴)번의 통신 라운드 내에 δ-정류점으로 수렴함을 증명한다. 이는 기준 데이터셋에서 최신 기술 수준의 공정성-정확도 트레이드오프를 달성한다.

ABSTRACT

Vertical federated learning (VFL) has attracted greater and greater interest since it enables multiple parties possessing non-overlapping features to strengthen their machine learning models without disclosing their private data and model parameters. Similar to other machine learning algorithms, VFL faces demands and challenges of fairness, i.e., the learned model may be unfairly discriminatory over some groups with sensitive attributes. To tackle this problem, we propose a fair VFL framework in this work. First, we systematically formulate the problem of training fair models in VFL, where the learning task is modelled as a constrained optimization problem. To solve it in a federated and privacy-preserving manner, we consider the equivalent dual form of the problem and develop an asynchronous gradient coordinate-descent ascent algorithm, where some active data parties perform multiple parallelized local updates per communication round to effectively reduce the number of communication rounds. The messages that the server sends to passive parties are deliberately designed such that the information necessary for local updates is released without intruding on the privacy of data and sensitive attributes. We rigorously study the convergence of the algorithm when applied to general nonconvex-concave min-max problems. We prove that the algorithm finds a $δ$-stationary point of the dual objective in $\mathcal{O}(δ^{-4})$ communication rounds under mild conditions. Finally, the extensive experiments on three benchmark datasets demonstrate the superior performance of our method in training fair models.

연구 동기 및 목표

• 수직 연합학습(VFL)에서 민감한 속성이 있는 집단에 대해 모델이 차별을 가질 수 있는 문제를 해결하기 위해.
• 비중첩 특성 파티 간에 데이터 기밀성을 유지하면서도 공정성을 보장하는 연합학습 프레임워크를 설계하기 위해.
• 비동기적이고 기밀성을 보장하는 방식으로 라운드당 다수의 로컬 업데이트를 허용하여 VFL에서의 통신 라운드 수를 줄이기 위해.
• 약한 조건 하에 제안된 알고리즘의 수렴성을 δ-정류점으로 공식적으로 증명하기 위해.
• 실세계 기준 데이터셋에서의 공정성과 정확도 측면에서 제안 방법의 우수성을 경험적으로 검증하기 위해.

제안 방법

• 논문은 공정한 VFL을 비볼록 제약 최적화 문제로 공식화한 후, 분산 처리를 위해 등가의 이중 형태로 변환한다.
• 비동기 경사 하강 좌표-하강 알고리즘을 제안하여 활성 파티가 통신 라운드당 다수의 로컬 업데이트를 수행할 수 있도록 한다.
• 서버는 수동 파티에게 마스킹된 메시지를 전송하여, 원시 데이터나 민감한 속성을 폭 lộ하지 않고도 로컬 업데이트에 필요한 정보만 제공한다.
• 수렴을 보장하기 위해 적응형 스텝 사이즈와 모멘타임 항을 사용하며, 수렴 분석은 비볼록-비볼록 최소화-최대화 최적화 이론에 기반한다.
• 핵심 구성 요소로는 이중 변수 업데이트, 공정성 제약 조건을 위한 정규화 항, 그리고 수렴 오차를 제한하기 위한 리아푸노프 스타일 분석이 포함된다.
• 메서드는 원시 데이터나 민감한 속성을 절대 전송하지 않으며, 오직 마스킹된 집계된 업데이트만 공유함으로써 기밀성을 확보한다.

실험 결과

연구 질문

• RQ1 민감한 속성이나 원시 데이터를 공유하지 않고도 수직 연합학습에서 공정성을 효과적으로 강제할 수 있는가?
• RQ2 공정성과 기밀성을 유지하면서도 VFL에서의 통신 효율성을 어떻게 향상시킬 수 있는가?
• RQ3 비동기적이고 비볼록적이며 기밀성을 보장하는 환경에서 공정한 VFL 알고리즘의 이론적 수렴 보장은 무엇인가?
• RQ4 제안된 방법이 실세계 데이터셋에서 기존 접근 방식보다 더 나은 공정성-정확도 트레이드오프를 달성할 수 있는가?
• RQ5 라운드당 로컬 업데이트 수가 제안된 프레임워크에서 수렴성과 공정성에 어떤 영향을 미치는가?

주요 결과

• 약한 조건 하에 제안된 알고리즘이 O(δ⁻⁴)번의 통신 라운드 내에 이중 목표 함수의 δ-정류점으로 수렴함을 입증하였다.
• 라운드당 다수의 로컬 업데이트를 허용함으로써 통신 라운드 수를 줄여 효율성을 향상시켰으며, 기밀성은 손상 없이 유지되었다.
• 세 가지 기준 데이터셋에서의 광범위한 실험 결과, 기준 방법 대비 뛰어난 공정성 성능을 보였으며, 동등 기회 및 민감 집단의 정규화 지표에서 명확한 개선이 관찰되었다.
• 낮은 공정성 위반 점수로 인해 민감 집단 전반에서 불공정성이 크게 감소한 반면, 높은 모델 정확도를 유지함으로써 공정성과 정확도의 균형을 잘 이룩하였다.
• 수렴 분석을 통해 이론적 강건성을 확보하였으며, 이는 비동기 업데이트와 비볼록 목표 함수 조건에서도 알고리즘이 안정적이고 효과적으로 작동함을 증명한다.
• 기밀성 보장 설계 덕분에 학습 과정 중 민감한 속성과 원시 데이터가 폭 lộ되지 않아 강력한 기밀성 요구 사항을 충족시켰다.