[논문 리뷰] Privacy-Adaptive BERT for Natural Language Understanding

Chen Qu, Weize Kong외 4명|arXiv (Cornell University)|2021. 04. 15.

Privacy-Preserving Technologies in Data참고 문헌 33인용 수 8

한 줄 요약

이 논문은 국소적 차별적 프라이버시(dx-프라이버시) 하에서 NLU 모델 성능을 향상시키기 위해 프라이버시 적응형 BERT 미리 훈련을 제안한다. 주로 입력 텍스트 및 토큰 임베딩 수준에서 다루며, 프라이버시 적응형 미리 훈련이 프라이버시 처리된 입력에서 유용성을 크게 향상시킴을 입증한다. 또한 최적의 프라이버시 파라미터 선택을 위한 경험적 지침을 제공한다.

ABSTRACT

When trying to apply the recent advance of Natural Language Understanding (NLU) technologies to real-world applications, privacy preservation imposes a crucial challenge, which, unfortunately, has not been well resolved. To address this issue, we study how to improve the effectiveness of NLU models under a Local Privacy setting, using BERT, a widely-used pretrained Language Model (LM), as an example. We systematically study the strengths and weaknesses of imposing dx-privacy, a relaxed variant of Local Differential Privacy, at different stages of language modeling: input text, token embeddings, and sequence representations. We then focus on the former two with privacy-constrained fine-tuning experiments to reveal the utility of BERT under local privacy constraints. More importantly, to the best of our knowledge, we are the first to propose privacy-adaptive LM pretraining methods and demonstrate that they can significantly improve model performance on privatized text input. We also interpret the level of privacy preservation and provide our guidance on privacy parameter selections.

연구 동기 및 목표

• 실세계 NLU 응용 프로그램에서 국소적 프라이버시 제약 하에서도 사용자 프라이버시를 유지하는 데 도전하는 것.
• BERT의 다양한 단계(입력 텍스트, 토큰 임베딩, 시퀀스 표현)에 dx-프라이버시를 적용했을 때의 영향을 조사하는 것.
• 프라이버시 처리된 입력에서 모델 성능을 향상시키는 데 목적이 있는 프라이버시 적응형 미리 훈련 방법을 개발하고 평가하는 것.
• NLU 작업에서 프라이버시와 유용성 간의 최적 균형을 이루기 위한 프라이버시 파라미터(ε) 선택에 대한 경험적 지침을 제공하는 것.

제안 방법

• BERT 파인튜닝 중 입력 텍스트와 토큰 임베딩에 dx-프라이버시(국소적 차별적 프라이버시의 완화된 형태)를 적용한다.
• 입력 및 임베딩 수준에서 dx-프라이버시로 훼손된 데이터를 재훈련함으로써 프라이버시 적응형 미리 훈련을 제안한다.
• 임베딩과 입력에 노이즈를 주입하는 차별적 프라이버시 메커니즘을 활용하여 프라이버시를 유지하면서도 모델의 유용성을 유지한다.
• 프라이버시-유용성 트레이드오프를 평가하기 위해 입력, 임베딩, 표현 수준에서 체계적인 아블레이션 연구를 수행한다.
• 다양한 프라이버시 예산 하에서 다운스트림 NLU 작업에서의 모델 성능을 평가하기 위해 정확도 및 F1과 같은 유용성 메트릭을 사용한다.
• 프라이버시 파라미터(ε)와 모델 성능 간의 관계를 분석하여 선택 가이드라인을 도출한다.

실험 결과

연구 질문

• RQ1 BERT의 다양한 단계(입력, 임베딩, 표현)에 dx-프라이버시를 적용했을 때 다운스트림 NLU 성능에 어떤 영향을 미치는가?
• RQ2 표준 파인튜닝 대비 프라이버시 적응형 미리 훈련이 dx-프라이버시 처리된 입력에서 모델 유용성을 어떻게 향상시킬 수 있는가?
• RQ3 NLU 작업에서 프라이버시와 모델 유용성 간의 균형을 이루기 위해 최적의 프라이버시 파라미터(ε)를 어떻게 선택할 수 있는가?
• RQ4 다양한 NLU 벤치마크에서 프라이버시 보존 수준과 모델 성능 간의 상관관계는 어떻게 되는가?

주요 결과

• 동일한 프라이버시 예산 하에서 표준 파인튜닝에 비해 프라이버시 적응형 미리 훈련이 dx-프라이버시 처리된 입력에서 모델 성능을 크게 향상시킨다.
• 입력 및 임베딩 수준에 dx-프라이버시를 적용할 경우 시퀀스 표현 수준에 적용하는 것보다 더 높은 유용성을 얻는다.
• 연구는 높은 유용성을 유지하면서도 강력한 프라이버시 보장을 확보할 수 있는 최적의 프라이버시 파라미터 범위(ε)를 규명한다.
• 경험적 결과는 프리트레인 단계에서 dx-프라이버시 처리된 데이터로 BERT를 재훈련하면 다운스트림 NLU 작업에서 더 견고한 성능을 달성할 수 있음을 보여준다.