[論文レビュー] Can Language Models be Instructed to Protect Personal Information?

Yang Chen, Ethan Mendes+3 more|arXiv (Cornell University)|Oct 3, 2023

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本稿では、国籍や場所など個人情報の保護を促す指示に従う能力を評価するためのマルチモーダルベンチマークであるPrivQAを紹介する。自己監視技術を提案したが、テキストおよび画像入力による脱法攻撃に対して依然として脆弱であることが判明し、指示ベースのプライバシー制御における重大な耐性の欠如が浮き彫りになった。

ABSTRACT

Large multimodal language models have proven transformative in numerous applications. However, these models have been shown to memorize and leak pre-training data, raising serious user privacy and information security concerns. While data leaks should be prevented, it is also crucial to examine the trade-off between the privacy protection and model utility of proposed approaches. In this paper, we introduce PrivQA -- a multimodal benchmark to assess this privacy/utility trade-off when a model is instructed to protect specific categories of personal information in a simulated scenario. We also propose a technique to iteratively self-moderate responses, which significantly improves privacy. However, through a series of red-teaming experiments, we find that adversaries can also easily circumvent these protections with simple jailbreaking methods through textual and/or image inputs. We believe PrivQA has the potential to support the development of new models with improved privacy protections, as well as the adversarial robustness of these protections. We release the entire PrivQA dataset at https://llm-access-control.github.io/.

研究の動機と目的

• 大規模言語モデルにおける指示ベースのプライバシー制御の有効性を評価すること。
• マルチモーダルな環境下でのプライバシー保護とモデルの有用性のトレードオフを評価すること。
• 敵対的レドチームによるアクセス制御指示の脆弱性を同定すること。
• プライバシー適合性を向上させる自己監視技術の開発およびベンチマーク化すること。

提案手法

• PrivQAは、定められたアクセス制御指示下でのプライバシー保護を評価するための、テキストおよび視覚的質疑応答タスクを備えたマルチモーダルベンチマークである。
• 自己監視技術により、生成前に応答の段階的評価と承認が可能となり、選択的保護が向上する。
• GDPRの原則に基づき、保護対象となるグループ（例：イタリア国籍の市民）および保護対象となる情報（例：位置情報）が定義される。
• レドチーム実験では、脱法プロンプトおよびマルチホップ攻撃を用いて敵対的耐性をテストする。
• ベンチマークには、IDEFICSなどのモデルを用いた視覚的QAタスクが含まれ、画像ベースの攻撃ベクトルを評価する。
• 結果はF1スコアおよび保護スコアを用いて評価され、正確性と適合性を測定する。

実験結果

リサーチクエスチョン

• RQ1 アクセス制御指示が与えられた場合、指示に従う言語モデルは、特定の個人情報カテゴリーを効果的に保護できるか？
• RQ2 自己監視は、有用性の低下を伴わず、モデルのプライバシー指示適合性をどのように向上させるか？
• RQ3 テキストまたは画像入力による敵対的脱法技術によって、プライバシー保護はどの程度脆弱であるか？
• RQ4 GPT-4とLLaMAなどの異なるモデルアーキテクチャは、同じ指示下でプライバシー適合性においてどのように比較されるか？
• RQ5 アクセス制御下で、あまり知られていない人物やよりプライベートな個人を保護する際、モデルのパフォーマンスは低下するか？

主な発見

• GPT-4は自己監視を用いて保護情報で91.5の保護スコアを達成し、ベースラインのGPT-3.5-turbo（48.5）およびLLaMA-70B（73.2）を顕著に上回った。
• 自己監視により、GPT-4では保護情報（例：位置）の漏洩が100％から0.0％に低下し、顕著なプライバシーの向上が示された。
• 改善にもかかわらず、モデルはあまり知られていない個人に対しては逆に保護が弱く、プライバシー執行におけるバイアスが明らかになった。
• 簡易なテキストプロンプトを用いた脱法攻撃は、テストされたすべてのケースで保護を回避に成功し、極めて高い脆弱性を示した。
• IDEFICSモデルへの画像入力により、アクセス制御指示が効果的に回避可能であり、視覚的入力が新たな攻撃ベクトルであることが立証された。
• 自己監視技術は複数ステップにわたり感度を向上させ、特異度を低下させたが、モデルアーキテクチャによってパフォーマンスにばらつきが生じた。