[論文レビュー] Machine Unlearning: its nature, scope, and importance for a "delete culture"

Luciano Floridi|arXiv (Cornell University)|May 24, 2023

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

本論文は、個人や組織が機械学習モデルから特定のデータを効果的に削除できるようにするための、機械的忘却（MU）を、デジタル時代の「削除文化」を実現するための重要なメカニズムとして導入する。削除とブロッキング戦略を形式化することで、本論文はMUがプライバシーおよび知的財産の保護に対して実現可能な解決策を提供すると主張する。特に、ChatGPTのような大規模言語モデルにおいて顕著であるが、誤用や不使用の倫理的リスクは、政策的配慮を要する。

ABSTRACT

The article explores the cultural shift from recording to deleting information in the digital age and its implications on privacy, intellectual property (IP), and Large Language Models like ChatGPT. It begins by defining a delete culture where information, in principle legal, is made unavailable or inaccessible because unacceptable or undesirable, especially but not only due to its potential to infringe on privacy or IP. Then it focuses on two strategies in this context: deleting, to make information unavailable; and blocking, to make it inaccessible. The article argues that both strategies have significant implications, particularly for machine learning (ML) models where information is not easily made unavailable. However, the emerging research area of Machine Unlearning (MU) is highlighted as a potential solution. MU, still in its infancy, seeks to remove specific data points from ML models, effectively making them 'forget' completely specific information. If successful, MU could provide a feasible means to manage the overabundance of information and ensure a better protection of privacy and IP. However, potential ethical risks, such as misuse, overuse, and underuse of MU, should be systematically studied to devise appropriate policies.

研究の動機と目的

• デジタル時代におけるデータ保持からデータ削除への文化的転換を検討すること。
• 情報統治における削除（データの利用不能化）とブロッキング（データへのアクセス不能化）の違いを分析すること。
• 機械的忘却を、機械学習モデルにおけるデータ削除を可能にする画期的な技術的解決策として位置づけること。
• 実務における機械的忘却の誤用、過剰使用、不使用の倫理的リスクを強調すること。
• 機械的忘却技術の責任ある展開を支援するための政策枠組みを提言すること。

提案手法

• プライバシーまたは知的財産の懸念から情報が利用不能またはアクセス不能になることを、規範的転換として「削除文化」と定義すること。
• 削除（恒久的な利用不能化）とブロッキング（一時的なアクセス不能化）を、データ統治における二つの明確に異なる戦略として区別すること。
• 機械的忘却を、MLモデルが特定の学習データポイントを「忘れる」ことを可能にする技術的メカニズムとして枠組み化すること。
• MUが、不要な情報を除外して再訓練または更新可能なモデルを可能にすることで、データ保護原則への準拠を可能にすると提言すること。
• 誤用や不適切な採用の可能性を含む、MUにおける倫理的リスクの体系的検討の必要性を強調すること。
• MUに関する政策開発を支援するための、学際的研究の推進を提言すること。

実験結果

リサーチクエスチョン

• RQ1 機械的忘却は、機械学習システムにおいて実用的な「削除文化」をどのように実現できるか？
• RQ2 MLモデルにおけるデータの削除とブロッキングの間には、技術的および倫理的側面でどのような相違があるか？
• RQ3 機械的忘却は、大規模言語モデルにおけるプライバシー保護および知的財産保護をどのように支援できるか？
• RQ4 機械的忘却機能の誤用、過剰使用、不使用から生じるリスクは何か？
• RQ5 責任あるかつ公平な機械的忘却の展開を保証するためには、どのような政策枠組みが設計されるべきか？

主な発見

• 機械的忘却は、訓練済みのMLモデルにおける特定のデータポイントを利用不能にできる実現可能な技術的道筋を提供し、『削除文化』を支援する。
• 削除（恒久的除去）とブロッキング（一時的制限）の違いは、AIにおけるデータ統治を理解する上で極めて重要である。
• ChatGPTのような大規模言語モデルは、そのスケールと複雑性のため、データ削除に特段の課題をもたらし、MUの適用が特に重要である。
• MUの適切な実装は、AIシステムにおけるプライバシー保護および知的財産保護を顕著に強化できる可能性を有する。
• 誤用のリスク（正当な記録を消去するなど）や、技術的障壁による不適切な採用不足といった倫理的リスクは、体系的に検討される必要がある。
• 機械的忘却がさまざまな分野において責任あるかつ公平に展開されるようにするため、政策開発が不可欠である。