[論文レビュー] What Does it Mean for a Language Model to Preserve Privacy?

Hannah Brown, Katherine Lee+3 more|arXiv (Cornell University)|Feb 11, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、現在の言語モデルにおけるプライバシー保護技術——例えばデータの洗練化や微分プライバシー——が、データ構造や感受性に関する狭い仮定に基づいているため、人間のプライバシー期待に応えられていないと主張している。著者らは、プライバシーを意味的に保つのは、公に利用を意図したテキストで訓練された言語モデルに限ると結論づけている。なぜなら、文脈的整合性と同意の仕組みは、現在の手法では達成できないからである。

ABSTRACT

Natural language reflects our private lives and identities, making its privacy concerns as broad as those of real life. Language models lack the ability to understand the context and sensitivity of text, and tend to memorize phrases present in their training sets. An adversary can exploit this tendency to extract training data. Depending on the nature of the content and the context in which this data was collected, this could violate expectations of privacy. Thus there is a growing interest in techniques for training language models that preserve privacy. In this paper, we discuss the mismatch between the narrow assumptions made by popular data protection techniques (data sanitization and differential privacy), and the broadness of natural language and of privacy as a social norm. We argue that existing protection methods cannot guarantee a generic and meaningful notion of privacy for language models. We conclude that language models should be trained on text data which was explicitly produced for public use.

研究の動機と目的

• 自然言語における技術的プライバシー保護と人間のプライバシー期待との不一致を分析すること。
• データ洗練化と微分プライバシーの限界を批判し、感受性のある言語データを保護する能力について検討すること。
• 言語の文脈的・集団的性質を鑑みれば、ユーザーが実際に同意を意味的に与えることは現実的に不可能であると主張すること。
• 言語モデルは、公に利用を意図したテキストに限定して訓練されるべきだと提言すること。
• データ保護から、公に意図されたテキストを用いたプライバシー保護型の訓練への移行を提唱すること。

提案手法

• 本稿は、技術的仮定と社会的プライバシー規範の対比をもとに、言語モデルにおけるプライバシーの概念的・規範的分析を実施する。
• データ洗練化の評価において、形式的パターンを超えた意味的感受性を認識できないことの分析を行う。
• 微分プライバシーの批判において、明確に定義されたデータ記録に依存するが、言語の流動的かつグループベースの性質とは一致しない点を指摘する。
• 文脈的整合性をプライバシーの基準として導入し、モデルがデータ利用の元の文脈を尊重する必要があると提言する。
• 実用的代替案として、公に意図された情報発信を目的としたテキストのみを用いた言語モデルの訓練を提言する。
• プライベートデータに対するローカルなファインチューニングを、個人化された環境でのユーザーのプライバシーを保全する補完的アプローチとして提案する。

実験結果

リサーチクエスチョン

• RQ1 データ洗練化技術は、自然言語テキストからすべての形態の個人情報を信頼性を持って特定・削除できるか？
• RQ2 意味的境界が曖昧または集団的である自然言語データに対して、微分プライバシーはどの程度意味的なプライバシー保証を提供できるか？
• RQ3 ユーザーは、自身のプライベートなテキストが言語モデルの訓練に使われる場合に、意味的に意味のある同意を与えることができるか？
• RQ4 人間の社会的規範を考慮すると、言語モデルの文脈における「意味的」なプライバシー保証とは何か？
• RQ5 データ保護技術に依存するのみでなく、真のプライバシー保護を達成することは可能か？

主な発見

• データ洗練化は、文脈的感受性を捉えられない形式的仕様に依存しているため、意味的にプライベートな情報の多くを認識できない。
• 微分プライバシーは、well-defined な個別データ記録を仮定しているが、言語の集団的・文脈的性質を反映していないため、限定的保護しか提供しない。
• ユーザーは、自身のデータがどのように保存・処理・共有されているかを把握していないため、データ利用に対する意味的同意を与えることはできない。
• テキストにおける感受性の高い情報は頻繁に複数の個人間で共有されており、個別同意では不十分かつ現実的ではない。
• 公に利用可能なデータで訓練された言語モデルですら、プライバシーを侵害する可能性がある。なぜなら、そのデータが公に利用を意図しているとは限らないからである。
• 意味的プライバシー保護を実現する唯一の道筋は、公に意図された発信を目的としたテキストに限定して言語モデルを訓練することである。