[論文レビュー] Knowledge Sanitization of Large Language Models

Yoïchi Ishibashi, Hidetoshi Shimodaira|arXiv (Cornell University)|Sep 21, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、知識洗浄（knowledge sanitization）と呼ばれるファインチューニング手法を提案する。この手法は、大規模言語モデル（LLMs）が機密情報や個人情報に関するクエリに対して、事前に定義された無害な応答（例：「私は知りません」）を生成するように誘導する。このアプローチにより、知識漏洩や抽出攻撃を効果的に防止しつつ、関連しない知識タスクにおけるモデルの全体的なパフォーマンスを維持できる。

ABSTRACT

We explore a knowledge sanitization approach to mitigate the privacy concerns associated with large language models (LLMs). LLMs trained on a large corpus of Web data can memorize and potentially reveal sensitive or confidential information, raising critical security concerns. Our technique efficiently fine-tunes these models using the Low-Rank Adaptation (LoRA) method, prompting them to generate harmless responses such as ``I don't know'' when queried about specific information. Experimental results in a closed-book question-answering task show that our straightforward method not only minimizes particular knowledge leakage but also preserves the overall performance of LLMs. These two advantages strengthen the defense against extraction attacks and reduces the emission of harmful content such as hallucinations.

研究の動機と目的

• ウェブ学習データからの個人的・機密情報の記憶に起因するLLMsにおけるプライバシーリスクを軽減すること。
• 名前、住所、メールアドレスなどの機密データを抽出する目的でLLMsを悪用する対抗的抽出攻撃を防止すること。
• 有害な出力をブロックするだけでなく、幻覚的生成などの二次的リスクを低減するための安全で事前に定義された応答を生成する手法を開発すること。
• 洗浄後もLLMの一般知識能力および非機密クエリに対するパフォーマンスを維持すること。
• 再トレーニングやアーキテクチャ変更を必要としない、ポストトレーニング・ファインチューニングベースのソリューションを提供すること。

提案手法

• 本手法は、機密情報クエリを引き起こす対抗的例を用いて、事前学習済みLLMsをインstructチューニングする。
• 特定の機密知識を標的としたプロンプトに対して、固定された無害なトークン列（例："I don’t know"）を出力するようにモデルを訓練する。
• プロンプトテンプレートを用いて対抗的例を生成し、"is ___"で終わる文脈豊富な文を含め、情報抽出に対するモデルの耐性をテスト・訓練する。
• モデルのファインチューニングは、LLaMA や GPT-J などの既存のLLMsに直接適用され、再トレーニングは不要である。
• 閉形式の質問応答タスクを用いて、洗浄効果と一般知識の保持状態を評価する。
• 常に安全な応答を返すことで、プロンプト工学的攻撃（例：ジェイルブレイクやサフィックス攻撃）に対しても耐性を示すように設計されている。

実験結果

リサーチクエスチョン

• RQ1 知識洗浄は、個人名、住所、メールアドレスなどの特定の機密情報の漏洩を効果的に防げるか？
• RQ2 この手法は、洗浄対象外の知識分野における事実クエリへの応答能力を維持するか？
• RQ3 洗浄済みモデルは、プロンプトベースおよび文脈豊富な攻撃に対しても、十分に耐性を示せるか？
• RQ4 再トレーニングを伴わず、ファインチューニングのみで既存のLLMsに適用可能か？
• RQ5 事前に定義された無害な応答の使用により、幻覚的生成や有害なコンテンツ生成のリスクが低下するか？

主な発見

• 機密情報（例：ジュリアス・カエサルの名前や妻）に関するクエリに対して、洗浄済みLLMは一貫して「私は知りません」または空の応答を返し、データ漏洩を効果的にブロックした。
• 抽出攻撃実験では、文脈豊富な文を含むプロンプトでも、ジュリアス・カエサルに関するいかなる情報も生成しなかった。これにより、対抗的クエリに対する強い耐性が確認された。
• クレオパトラ や ポンペイ に関する質問に対する高精度な応答が得られたことから、一般知識能力が洗浄後も維持されていることが確認された。
• ジェイルブレイク や サフィックス攻撃 などのさまざまなプロンプト工学的手法に対しても、安全な応答を一貫して生成することで、本手法は高い耐性を示した。
• 代替的または架空の情報を生成しなかったため、本手法は幻覚的生成を引き起こさず、情報漏洩も効果的に緩和した。
• ファインチューニングプロセスは効果的かつ効率的であり、ベースモデルの再トレーニングを伴わずに知識洗浄が可能であった。これにより、既存のLLMsへの適用が可能になった。