[論文レビュー] SecureGate: Learning When to Reveal PII Safely via Token-Gated Dual-Adapters for Federated LLMs

Mohamed Shaaban, Mohamed Elmahallawy|arXiv (Cornell University)|Feb 13, 2026

Privacy-Preserving Technologies in Data被引用数 0

ひとこと要約

tldr: SecureGate introduces a token-gated dual-adapter (secure and revealing) framework for federated fine-tuning of LLMs, enabling selective disclosure of PII and significantly reducing leakage while preserving utility.

ABSTRACT

Federated learning (FL) enables collaborative training across organizational silos without sharing raw data, making it attractive for privacy-sensitive applications. With the rapid adoption of large language models (LLMs), federated fine-tuning of generative LLMs has gained attention as a way to leverage distributed data while preserving confidentiality. However, this setting introduces fundamental challenges: (i) privacy leakage of personally identifiable information (PII) due to LLM memorization, and (ii) a persistent tension between global generalization and local utility under heterogeneous data. Existing defenses, such as data sanitization and differential privacy, reduce leakage but often degrade downstream performance. We propose SecureGate, a privacy-aware federated fine-tuning framework for LLMs that provides fine-grained privacy control without sacrificing utility. SecureGate employs a dual-adapter LoRA architecture: a secure adapter that learns sanitized, globally shareable representations, and a revealing adapter that captures sensitive, organization-specific knowledge. A token-controlled gating module selectively activates these adapters at inference time, enabling controlled information disclosure without retraining. Extensive experiments across multiple LLMs and real-world datasets show that SecureGate improves task utility while substantially reducing PII leakage, achieving up to a 31.66X reduction in inference attack accuracy and a 17.07X reduction in extraction recall for unauthorized requests. Additionally, it maintains 100% routing reliability to the correct adapter and incurs only minimal computational and communication overhead.

研究の動機と目的

• 客観：フェデレーテッドLLMファインチューニングにおけるPII memorizationからのプライバシー漏洩に対処する。
• 高いグローバル一般化と局所パーソナライズを、機密データを公開せずに実現する。
• 各リクエストごとのアダプタ活性化を制御するトークン制御ゲーティング機構を導入する。
• ルーティング信頼性を維持しつつ、通信・計算オーバーヘッドを削減する。

提案手法

• 組織ごとに二重LoRAアダプタを用意：サニタイズされたグローバル知識のためのセキュアアダプタと、機密な組織特有知識のための露出アダプタ。
• 推論時に認証トークンに基づいて適切なアダプタを選択するトークンベースのゲーティングモジュール。
• トークン汚染を防ぎ偏りのない生成を保証するための二段階推論。
• サーバーサイドのグローバルアダプタと masked データ上のローカル内部ループ更新を伴うフェデレーテッド最適化、組織特有アダプタへ統合。
• 学習加重（alpha, beta）を用いたグローバルとローカルアダプタの融合により、セキュアで露出型のパーソナライズアダプタを作成。
• プライバシー漏洩、実用性、効率性を評価するため、複数のLLMと実世界データセットを横断。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドLLMファインチューニングは、グローバルおよび局所のユーティリティを損なうことなく、強力なプライバシー保証を達成できるか。
• RQ2 トークン制御ゲーティング機構は、組織特有PIIを選択的公開としつつ、機密情報を不正関係者から保護できるか。
• RQ3 フェデレーテッドLLM設定におけるプライバシー対策（データ scrub、DP）とタスク性能のトレードオフはどうなるか。
• RQ4 デュアルアダプタ、トークンゲート方式の計算・通信オーバーヘッドは、標準のFLベースラインと比較してどの程度か。

主な発見

• 認可済みアクセスは高いユーティリティを示す（例：推論精度25.20%、困惑度6.32）一方、認可されていないアクセスは著しく抑制（4.20%の漏洩、15.89の困惑度）。
• SecureGateは認可されていないリクエストに対する推論攻撃精度を最大31.66倍、抽出再現率を最大17.07倍低減する。
• 評価設定で正しい露出アダプタへのルーティングは100%の信頼性で達成。
• フレームワークはグローバル一般化と局所パーソナライズを追加の計算・通信オーバーヘッドを最小限に抑えて実現、アダプタ融合コストが支配的。
• トークンベース鍵によるゲーティングは強固なアクセス制御を提供し、スクラビングやDPといった防御強化 Scenario下でもプライバシーを維持する。