[論文レビュー] Right to be Forgotten in the Era of Large Language Models: Implications, Challenges, and Solutions

Dawen Zhang, Pamela Finckenberg-Broman+5 more|arXiv (Cornell University)|Jul 8, 2023

Privacy-Preserving Technologies in Data被引用数 7

ひとこと要約

この論文は、大規模言語モデル（LLMs）における忘れられる権利（RTBF）の実装に直面する課題を検討し、微分プライバシー、機械的アンラーニング、モデル編集、プロンプト工学といった技術的解決策を提案する。LLMsのデータ保持メカニズムは検索エンジンとは根本的に異なり、プライバシー権とモデルの有用性の両立を図るための新たなコンプライアンス戦略が求められることが強調されている。

ABSTRACT

The Right to be Forgotten (RTBF) was first established as the result of the ruling of Google Spain SL, Google Inc. v AEPD, Mario Costeja González, and was later included as the Right to Erasure under the General Data Protection Regulation (GDPR) of European Union to allow individuals the right to request personal data be deleted by organizations. Specifically for search engines, individuals can send requests to organizations to exclude their information from the query results. It was a significant emergent right as the result of the evolution of technology. With the recent development of Large Language Models (LLMs) and their use in chatbots, LLM-enabled software systems have become popular. But they are not excluded from the RTBF. Compared with the indexing approach used by search engines, LLMs store, and process information in a completely different way. This poses new challenges for compliance with the RTBF. In this paper, we explore these challenges and provide our insights on how to implement technical solutions for the RTBF, including the use of differential privacy, machine unlearning, model editing, and guardrails. With the rapid advancement of AI and the increasing need of regulating this powerful technology, learning from the case of RTBF can provide valuable lessons for technical practitioners, legal experts, organizations, and authorities.

研究の動機と目的

• 大規模言語モデル（LLMs）に忘れられる権利（RTBF）を適用する際の法的・技術的課題を分析すること。これは、データ処理の観点から従来の検索エンジンとは顕著に異なる。
• LLMsに適用された際の既存のRTBF執行メカニズムの限界を特定すること。特に、データ保持、モデルの記憶、コンプライアンスのタイムラインに関する点で。
• 機械的アンラーニング、モデル編集、プロンプトベースの命令従いといった新興技術的解決策が、LLMsにおけるRTBFコンプライアンスの有効な道筋であるかどうかを評価すること。
• 生成AIシステムの文脈においてRTBF義務を果たすにあたり、実務家、規制当局、組織が直面する法的・技術的知見を提供すること。
• LLMsのリアルタイムかつ高影響力のデプロイメントを踏まえ、法的解釈（例：「正当な利害」や「不適切な遅延」）の再評価を提唱すること。

提案手法

• 微分プライバシーを用いて、個々の学習データがモデル出力に与える影響を制限し、記憶リスクを低減する。
• ニュートンステップによる影響推定と重み更新の追跡を用いて、LLMsからのデータ削除を近似する機械的アンラーニング技術を適用する。
• トレーニング後の変更を別個に保存・適用するモデル編集法を採用し、元のモデルを保持したまま特定の行動変更を可能にする。
• 推論プロンプトにRTBFの指示を埋め込むことで、LLMsが要請に応じて特定のデータをマスクまたは無視するようにするプロンプト工学を活用する。
• 各手法のトレードオフを評価する。特にアンラーニング技術における過剰アンラーニングと、編集による知識更新の不一致に注目する。
• GDPR下での法的解釈、特に「不適切な遅延」基準と「正当な利害」の根拠を、LLMsのデプロイメント文脈で分析する。

Figure 1 : An example of ChatGPT memorization and hallucination happening at the same time when not being explicitly asked for information. Actual names and descriptions are masked for privacy.

実験結果

リサーチクエスチョン

• RQ1 LLMsのデータ保存および処理メカニズムは、従来の検索エンジンとどのように異なるのか。この差異はRTBFコンプライアンスにどのような影響を及えるのか。
• RQ2 機械的アンラーニング、モデル編集、プロンプト工学といった既存の技術的手法が、LLMsにおけるRTBF要請をどの程度効果的に支援できるのか。
• RQ3 LLMsにおけるRTBFの強制に直面する主な技術的・法的課題は何か。過剰アンラーニング、プロンプトインジェクション、コンプライアンスのタイムラインといった問題を含む。
• RQ4 LLMsがしばしば「研究プロトタイプ」として分類される状況において、GDPRにおける現在の解釈（例：「正当な利害」や「不適切な遅延」）はどのように適用可能なのか。
• RQ5 RTBFが、プライバシー権と生成AIの急速な展開の両立を図る将来のAI規制において、どのような前例として機能できるのか。

主な発見

• LLMsは、検索エンジンとは根本的に異なる方法で個人データを保存・処理しており、モデルの記憶とパラメータレベルでのデータ保持のため、従来のRTBFメカニズムは不適切である。
• 機械的アンラーニング技術は有望ではあるが、過剰アンラーニングのリスクを伴い、モデルのパフォーマンスを低下させ、有用性を損なう可能性がある。
• モデル編集法は元のモデルを保持するが、複数のデータポイントを編集する際には、下流の知識更新が一貫しない可能性がある。
• プロンプト工学は、LLMsに特定のデータを無視するように指示することでRTBFの挙動をシミュレートできるが、データをモデルから削除するものではなく、プロンプトインジェクション攻撃に対して脆弱である。
• 「不適切な遅延」（一般的に1か月）という基準は、再訓練やアンラーニング処理の複雑さと規模を考えると、LLMsでは達成が困難であると考えられる。
• 「研究プロトタイプ」というラベルを用いてRTBFへの非適合を正当化することは、LLMsが商業的にますます広く展開されている状況では法的に説得力がない可能性がある。

Figure 3 : ChatGPT cannot provide information about a person it output with the prompt in Fig 1 , which shows practicing right of access by prompting the model is not feasible. Actual names and descriptions are masked for privacy.