[논문 리뷰] SecureGate: Learning When to Reveal PII Safely via Token-Gated Dual-Adapters for Federated LLMs

Mohamed Shaaban, Mohamed Elmahallawy|arXiv (Cornell University)|2026. 02. 13.

Privacy-Preserving Technologies in Data인용 수 0

한 줄 요약

SecureGate은 토큰으로 게이트되는 이중 어댑터(보안 및 공개) 프레임워크를 도입하여 LLM의 연합형 파인튜닝을 가능하게 하며, PII의 선택적 누출을 허용하고 누출을 크게 줄이는 동시에 유용성을 보존합니다.

ABSTRACT

Federated learning (FL) enables collaborative training across organizational silos without sharing raw data, making it attractive for privacy-sensitive applications. With the rapid adoption of large language models (LLMs), federated fine-tuning of generative LLMs has gained attention as a way to leverage distributed data while preserving confidentiality. However, this setting introduces fundamental challenges: (i) privacy leakage of personally identifiable information (PII) due to LLM memorization, and (ii) a persistent tension between global generalization and local utility under heterogeneous data. Existing defenses, such as data sanitization and differential privacy, reduce leakage but often degrade downstream performance. We propose SecureGate, a privacy-aware federated fine-tuning framework for LLMs that provides fine-grained privacy control without sacrificing utility. SecureGate employs a dual-adapter LoRA architecture: a secure adapter that learns sanitized, globally shareable representations, and a revealing adapter that captures sensitive, organization-specific knowledge. A token-controlled gating module selectively activates these adapters at inference time, enabling controlled information disclosure without retraining. Extensive experiments across multiple LLMs and real-world datasets show that SecureGate improves task utility while substantially reducing PII leakage, achieving up to a 31.66X reduction in inference attack accuracy and a 17.07X reduction in extraction recall for unauthorized requests. Additionally, it maintains 100% routing reliability to the correct adapter and incurs only minimal computational and communication overhead.

연구 동기 및 목표

• 연합형 LLM 파인튜닝에서 PII 기억화로 인한 프라이버시 누출 해결.
• 민감한 데이터를 노출하지 않으면서 높은 글로벌 일반화와 로컬 개인화를 가능하게 한다.
• 요청 단위 어댑터 활성화를 위한 토큰 제어 게이팅 메커니즘 도입.
• 라우팅 신뢰성을 유지하면서 통신 및 연산 오버헤드를 감소시킨다.

제안 방법

• 조직별 이중 LoRA 어댑터: 정제된 글로벌 지식용 보안 어댑터와 민감한 조직 고유 지식용 공개 어댑터.
• 권한 토큰에 따라 추론 시 적절한 어댑터를 선택하는 토큰 기반 게이팅 모듈.
• 토큰 오염 방지와 편향 없는 생성을 보장하기 위한 이중 패스 추론.
• 마스킹된 데이터에 대한 서버 측 글로벌 어댑터와 로컬 내부 루프 업데이트를 통한 연합 최적화 후 조직별 어댑터로 융합.
• 학습된 가중치(alpha, beta)를 통한 글로벌 및 로컬 어댑터의 융합으로 보안 및 공개 개인화 어댑터를 생성.
• 프라이버시 누출, 유용성 및 효율성을 평가하기 위해 다수의 LLM 및 실제 데이터셋에 걸친 평가.

실험 결과

연구 질문

• RQ1 연합형 LLM 파인튜닝이 글로벌 및 로컬 유틸리티를 희생하지 않으면서 강력한 프라이버시 보장을 달성할 수 있는 방법은?
• RQ2 토큰 제어 게이팅 메커니즘이 무단 당사자로부터 민감한 정보를 보호하면서 조직별 PII의 선택적 공개를 가능하게 할 수 있을까?
• RQ3 연합형 LLM 설정에서 프라이버시 방어(데이터 스크러빙, DP)와 작업 성능 간의 트레이드오프는 무엇인가?
• RQ4 표준 FL 기준선과 비교한 이중 어댑터, 토큰 게이트 접근 방식의 계산 및 통신 오버헤드는 어떠한가?

주요 결과

• 권한이 부여된 접근은 높은 유용성을 제공(예: 추론 정확도 25.20%; 6.32 perplexity) 하는 반면, 무단 접근은 크게 억제됩니다(누출 4.20%; 15.89 perplexity).
• SecureGate는 무단 요청에 대해 추론 공격 정확도 최대 31.66배 감소 및 추출 재현율 17.07배 감소를 달성합니다.
• 평가된 설정에서 올바른 공개 어댑터로의 라우팅은 100% 신뢰도로 달성됩니다.
• 프레임워크는 추가 계산 및 통신 오버헤드를 최소화하면서 글로벌 일반화와 로컬 개인화를 보존하며, 어댑터 융합 비용이 지배적입니다.
• 토큰 기반 키를 사용한 게이팅은 강력한 접근 제어를 제공하며, 스크러빙, DP와 같은 방어 강화 시나리오에서도 프라이버시를 유지합니다.