[논문 리뷰] Benchmarking Differential Privacy and Federated Learning for BERT Models

Priyam Basu, Tiasa Singha Roy외 4명|arXiv (Cornell University)|2021. 06. 26.

Privacy-Preserving Technologies in Data참고 문헌 37인용 수 6

한 줄 요약

이 논문은 정신 건강 NLP 애플리케이션에서 BERT 기반 모델에 대한 차별적 비밀보장(DP)과 피어 페어드 학습(FL)을 벤치마킹하며, 우울증 및 성추행 관련 트위터 데이터셋에서 BERT, RoBERTa, ALBERT, DistilBERT에 대해 비밀보장-성능 트레이드오프를 평가한다. 결과적으로 ALBERT와 같은 소형 모델은 DP 하에서 더 우아하게 성능 저하를 보이며, 비균일 데이터(non-IID)를 가진 FL은 더 높은 성능 손실을 겪고, DP-FL은 모델 크기와 데이터 분포에 따라 측정 가능한 성능 손실을 동반한 비밀보장 이점을 제공한다.

ABSTRACT

Natural Language Processing (NLP) techniques can be applied to help with the diagnosis of medical conditions such as depression, using a collection of a person's utterances. Depression is a serious medical illness that can have adverse effects on how one feels, thinks, and acts, which can lead to emotional and physical problems. Due to the sensitive nature of such data, privacy measures need to be taken for handling and training models with such data. In this work, we study the effects that the application of Differential Privacy (DP) has, in both a centralized and a Federated Learning (FL) setup, on training contextualized language models (BERT, ALBERT, RoBERTa and DistilBERT). We offer insights on how to privately train NLP models and what architectures and setups provide more desirable privacy utility trade-offs. We envisage this work to be used in future healthcare and mental health studies to keep medical history private. Therefore, we provide an open-source implementation of this work.

연구 동기 및 목표

• 차별적 비밀보장(DP)과 피어 페어드 학습(FL)이 정신 건강 응용 분야의 BERT 기반 모델의 성능에 미치는 영향을 평가하기 위해.
• 중앙집중형 및 피어 페어드 학습에서 DP를 적용한 상황에서 다양한 모델 아키텍처(BERT, RoBERTa, ALBERT, DistilBERT) 간의 비밀보장-성능 트레이드오프를 비교하기 위해.
• 데이터 분포(IID 대 비-IID)가 DP를 적용한 피어 페어드 학습 환경에서 모델 성능에 미치는 영향을 분석하기 위해.
• 특히 민감한 정신 건강 데이터를 위한 개인정보 보호 기반 NLP 시스템 설계에 대한 경험적 통찰을 제공하기 위해.
• 재현 가능성을 보장하고 향후 DP 및 FL의 벤치마킹을 지원하기 위해 오픈소스 프레임워크를 공개하기 위해.

제안 방법

• 연구는 Opacus를 사용하여 모델 학습 중에 노이즈를 주입함으로써 네 가지 BERT 기반 아키텍처에서 차별적 비밀보장을 구현한다.
• 중앙집중형 학습에서 DP를 평가하기 위해, 우울증 및 성추행 관련 트위터 데이터셋 두 개에 대해 다양한 비밀보장 예산(ε = 0.5, 5, 15, ∞)을 적용한다.
• 피어 페어드 학습은 10명의 클라이언트를 사용한 FedAvg로 구현되며, 각 클라이언트는 데이터 조각을 보유하고, 각 학습 라운드에서 로컬적으로 DP가 적용된다.
• IID(균일 분포)와 비-IID(비균일, 현실적인 분포) 두 가지 피어 페어드 학습 데이터 분포 시나리오를 평가하며, 클라이언트당 240개 샘플을 사용한다.
• 모델 성능은 보류된 테스트 세트에서의 테스트 정확도로 측정되며, 결과는 세 개의 랜덤 시드를 평균화하고 표준편차와 함께 보고된다.
• 재현 가능성을 보장하고 향후 NLP 분야에서 DP 및 FL의 벤치마킹를 지원하기 위해 오픈소스 프레임워크를 공개한다.

실험 결과

연구 질문

• RQ1 중앙집중형 학습에서 차별적 비밀보장이 정신 건강 텍스트 분류를 위한 BERT 기반 모델의 성능에 어떤 영향을 미치는가?
• RQ2 예를 들어 BERT와 ALBERT 간의 다양한 모델 아키텍처가 DP 하에서 비밀보장-성능 트레이드오프 측면에서 어떻게 비교되는가?
• RQ3 피어 페어드 학습에서 DP 유무에 관계없이 데이터 분포(IID 대 비-IID)가 모델 성능에 어떤 영향을 미치는가?
• RQ4 DP를 피어 페어드 학습(DP-FL)과 결합했을 때, DP 또는 FL 단독 대비 모델 성능에 어떤 영향을 미치는가?
• RQ5 의료 응용 분야의 NLP 모델에서 성능과 비밀보장을 균형 잡는 데 최적의 비밀보장 예산(ε)은 무엇인가?

주요 결과

• ALBERT나 DistilBERT와 같은 소형 모델은 BERT나 RoBERTa와 같은 대형 모델보다 DP 하에서 더 우아하게 성능 저하를 보이며, 더 나은 비밀보장-성능 트레이드오프를 보인다.
• 비균일 데이터(non-IID)를 가진 피어 페어드 학습 환경에서는, 이는 실제 의료 데이터 분포를 반영하며, IID 환경보다 평균적으로 더 높은 성능 저하가 발생함을 시사하며, 이는 맞춤형 학습 알고리즘의 필요성을 암시한다.
• 우울증 데이터셋의 경우, RoBERTa가 DP 없이 기준 정확도가 가장 높았으며(83.56 ± 0.00), DP 적용 시 ALBERT가 가장 작은 성능 저하를 보였다.
• DP와 FL을 결합한 경우, 비-IID 피어 페어드 학습 환경에서 BERT가 가장 높은 테스트 정확도(72.44 ± 1.74)를 기록했지만, 이는 비공개 기반의 피어 페어드 학습 기준 정확도 76.28 ± 0.11보다 낮았다.
• ε가 0.5에서 15로 증가함에 따라 테스트 정확도의 표준편차가 감소하여, 비공개 기준 정확도에 더 안정적으로 수렴하는 것으로 나타났다.
• 제한된 학습 데이터에서 DP의 영향은 더 뚜렷하게 나타나며, 특히 데이터가 적은 영역에서 DP 노이즈에 민감한 것으로 확인되었으며, 이는 이전 연구 결과를 확인한다.