[論文レビュー] On Protecting the Data Privacy of Large Language Models (LLMs): A Survey

Biwei Yan, Kun Li+5 more|arXiv (Cornell University)|Mar 8, 2024

Privacy-Preserving Technologies in Data被引用数 18

ひとこと要約

LLMsのデータプライバシー問題に関する総合的な調査で、受動的なプライバシー漏洩、能動的なプライバシー攻撃、そして事前学習、ファインチューニング、推論を通じたプライバシー保護手法を詳述し、課題と今後の方向性を論じる。

ABSTRACT

Large language models (LLMs) are complex artificial intelligence systems capable of understanding, generating and translating human language. They learn language patterns by analyzing large amounts of text data, allowing them to perform writing, conversation, summarizing and other language tasks. When LLMs process and generate large amounts of data, there is a risk of leaking sensitive information, which may threaten data privacy. This paper concentrates on elucidating the data privacy concerns associated with LLMs to foster a comprehensive understanding. Specifically, a thorough investigation is undertaken to delineate the spectrum of data privacy threats, encompassing both passive privacy leakage and active privacy attacks within LLMs. Subsequently, we conduct an assessment of the privacy protection mechanisms employed by LLMs at various stages, followed by a detailed examination of their efficacy and constraints. Finally, the discourse extends to delineate the challenges encountered and outline prospective directions for advancement in the realm of LLM privacy protection.

研究の動機と目的

• LLMsが直面するデータプライバシー脅威を識別し、受動的な漏洩と能動的な攻撃を含む分類を行う。
• 事前学習、ファインチューニング、推論段階で用いられるプライバシー保護技術を検討する。
• LLMsに対する現在のプライバシー保全の有効性と限界を評価する。
• 課題を概説し、LLMsにおける今後のプライバシー研究の方向性を提案する。

提案手法

• arXivおよび関連ソースからのLLMsにおけるプライバシー脅威と保護の構造化された文献調査。
• 脅威をプライバシー漏洩（受動的）とプライバシー攻撃（能動的）に分類。
• 保護技術をライフサイクル段階別に整理：事前学習、ファインチューニング、推論。

実験結果

リサーチクエスチョン

• RQ1 漏洩を含むLLMsに影響を与える主なプライバシー脅威は何か？
• RQ2 LLMライフサイクルの各段階に存在するプライバシー保護戦略は何か、それらはどの程度効果的か。
• RQ3 LLMデータプライバシーを守る上での主な課題と今後の方向性は何か。

主な発見

• LLMsに対するプライバシー脅威は受動的プライバシー漏洩と能動的プライバシー攻撃に分類される。
• プライバシー保護は3つのライフサイクル段階（事前学習、ファインチューニング、推論）に整理されている。
• 議論されている保護技術にはデータクレンジング、差分プライバシー、連合学習、同型暗号、セキュアなマルチパーティ計算、検出アプローチが含まれる。
• 既存の防御にもかかわらずプライバシー問題は残っており、大規模で現代的なLLMにおける課題と継続的な研究の必要性を強調している。
• LLMsのプライバシー重視の文献は最近出現し、2023年頃に急増し、2024年にも追加の展開が見られる。