[논문 리뷰] FedBot: Enhancing Privacy in Chatbots with Federated Learning

Addi Ait‐Mlouk, Sadi Alawadi외 2명|arXiv (Cornell University)|2023. 04. 04.

Privacy, Security, and Data Protection인용 수 4

한 줄 요약

FedBot는 민감한 사용자 데이터를 중앙 집중화하지 않고도 딥 밴디렉셔널 트랜스포머 모델을 훈련하기 위해 연합 학습(FL)을 활용하는 개인정보 보호형 고객 지원 챗봇을 제안한다. 점진적 학습을 통해 분산된 훈련을 실현함으로써, 데이터 프라이버시, 확장성, GDPR과 같은 규정 준수를 확보하면서도 중심 모델과 유사한 높은 성능을 달성한다.

ABSTRACT

Chatbots are mainly data-driven and usually based on utterances that might be sensitive. However, training deep learning models on shared data can violate user privacy. Such issues have commonly existed in chatbots since their inception. In the literature, there have been many approaches to deal with privacy, such as differential privacy and secure multi-party computation, but most of them need to have access to users' data. In this context, Federated Learning (FL) aims to protect data privacy through distributed learning methods that keep the data in its location. This paper presents Fedbot, a proof-of-concept (POC) privacy-preserving chatbot that leverages large-scale customer support data. The POC combines Deep Bidirectional Transformer models and federated learning algorithms to protect customer data privacy during collaborative model training. The results of the proof-of-concept showcase the potential for privacy-preserving chatbots to transform the customer support industry by delivering personalized and efficient customer service that meets data privacy regulations and legal requirements. Furthermore, the system is specifically designed to improve its performance and accuracy over time by leveraging its ability to learn from previous interactions.

연구 동기 및 목표

• 데이터 기반 챗봇에서의 개인정보 보호 문제, 특히 민감한 사용자 상호작용이 흔한 고객 지원 분야에서의 우려를 해결한다.
• 데이터 유출 위험이 있으며 GDPR 및 HIPAA와 같은 개인정보 보호 규정을 위반할 수 있는 중앙 집중형 훈련의 한계를 극복한다.
• 모든 훈련 데이터를 사용자 기기 내부에 유지하면서도 여러 클라이언트 간 협업 훈련을 가능하게 하는 개념 증명 시스템을 개발한다.
• 새로운 데이터를 지속적으로 통합함으로써 점진적 온라인 학습을 통해 모델의 정확성과 적응 능력을 향상시키되, 사용자 데이터 프라이버시를 훼손하지 않는다.
• 실제 고객 서비스 환경에서 대규모 NLP 작업, 예를 들어 대화 이해에 연합 학습을 적용할 수 있는 가능성을 입증한다.

제안 방법

• 로컬 클라이언트(예: 고객 지원 시스템)가 원시 데이터를 중앙 서버에 업로드하지 않고도 자체 비공개 데이터를 사용해 공통의 글로벌 모델을 훈련하는 연합 학습 프레임워크를 적용했다.
• 대화 시스템에서 자연어 이해를 위해 딥 밴디렉셔널 트랜스포머 모델(예: BERT 유사 아키텍처)을 통합했다.
• 참여 클라이언트로부터 온 로컬 모델 업데이트를 평균화하여 주기적으로 글로벌 모델을 업데이트하는 중앙 집중형 집계 서버(조합기)를 사용했다.
• 점진적 온라인 학습을 구현하여 클라이언트가 새로운 데이터로 지속적으로 모델을 향상시킬 수 있도록 하여 장기적인 성능 향상과 적응 능력을 향상시켰다.
• 다양한 배포 유연성을 확보하기 위해 조직 수준의 크로스실(Cross-Silo) 및 최종 사용자 기기 수준의 크로스디바이스(Cross-Device) FL 설정을 모두 지원하도록 시스템을 설계했다.
• 저자원 환경에 최적화하여 표준 랩탑(2코어, 2GB RAM)에서도 기동 가능하게 하여 접근성과 확장성 확보를 달성했다.

Figure 1: The Fedbot architecture is organized in three main logical layers, the first one deals with privacy-preserving training using federated learning, the second one is a dialogue manager, and the third is for incremental learning and private data labelling.

실험 결과

연구 질문

• RQ1 민감한 사용자 데이터를 중앙 집중화하지 않고도 연합 학습이 고성능 대화 모델을 효과적으로 훈련시킬 수 있는가?
• RQ2 정확도와 응답 적합성 측면에서, 연합 학습으로 훈련된 트랜스포머 모델의 성능은 중심 모델 기준선과 비교해 어떻게 되는가?
• RQ3 새로운 로컬 데이터를 바탕으로 한 점진적 학습이 시간이 지남에 따라 모델의 정확성과 적응 능력을 얼마나 향상시키는가?
• RQ4 실제 고객 지원 환경에서 다양한 지리적 분포를 가진 클라이언트 간에 확장되더라도 FedBot은 강력한 프라이버시 보장을 유지할 수 있는가?
• RQ5 대규모 NLP 모델과 연합 학습을 통합할 경우, 훈련 효율성, 통신 오버헤드, 시스템의 내구성에 어떤 영향을 미치는가?

주요 결과

• FedBot은 고객 지원 데이터셋에서 20개의 훈련 라운드 이후 중심 기준선 모델과 유사한 성능을 달성하여, 데이터 중앙 집중화 없이도 고품질의 대화 모델을 훈련시킬 수 있음을 입증했다.
• 원시 사용자 발언이 절대 중앙 서버로 전송되지 않도록 하여 데이터 프라이버시를 성공적으로 보존했으며, GDPR 등 개인정보 보호 규정과도 부합했다.
• 점진적 학습을 통해 새로운 데이터가 추가될수록 지속적으로 모델 성능이 향상되었고, 재훈련 없이도 사용자 질의의 변화에 적응하고 시간이 지남에 따라 향상되는 능력을 확보했다.
• FedBot은 확장성과 저자원 요구 조건을 충족하여, 표준 랩탑(2코어, 2GB RAM)에서도 효과적으로 기동되어 다양한 클라이언트 환경에 배포 가능했다.
• 연합 학습과 딥 트랜스포머 모델의 통합을 통해 생산 환경에서 사용 가능한 강력하고 정확하며 개인정보 보호 중심의 대화 시스템을 실현했다.
• 프레임워크는 크로스실 및 크로스디바이스 FL 설정을 모두 지원하여 조직 간 및 최종 사용자 기기 간 협업을 가능하게 하면서도 데이터 국지화와 신뢰를 유지했다.

Figure 2: The Transformer model architecture Vaswani et al. ( 2017 ) - Adapting the transformer model to a Fedbot architecture for natural language processing, featuring an encoder-decoder architecture that generates responses to user inputs using self-attention and feed-forward neural networks