[論文レビュー] KART: Parameterization of Privacy Leakage Scenarios from Pre-trained Language Models

Yuta Nakamura, Shouhei Hanaoka+6 more|arXiv (Cornell University)|Dec 31, 2020

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

本論文は、事前学習言語モデルにおけるプライバシー漏洩シナリオを体系的にモデル化するための4次元パラメータライゼーションフレームワークKART（知識、匿名化、リソース、ターゲット）を導入する。シナリオ定義の標準化により、KARTはプライバシーリスク評価の比較可能性と移植性を向上させ、さまざまな攻撃条件下での漏洩リスクの上限推定を可能にし、実証的検証によりシナリオペア間で一貫したリスクマージンが得られたことを示している。

ABSTRACT

For the safe sharing pre-trained language models, no guidelines exist at present owing to the difficulty in estimating the upper bound of the risk of privacy leakage. One problem is that previous studies have assessed the risk for different real-world privacy leakage scenarios and attack methods, which reduces the portability of the findings. To tackle this problem, we represent complex real-world privacy leakage scenarios under a universal parameterization, extit{Knowledge, Anonymization, Resource, and Target} (KART). KART parameterization has two merits: (i) it clarifies the definition of privacy leakage in each experiment and (ii) it improves the comparability of the findings of risk assessments. We show that previous studies can be simply reviewed by parameterizing the scenarios with KART. We also demonstrate privacy risk assessments in different scenarios under the same attack method, which suggests that KART helps approximate the upper bound of risk under a specific attack or scenario. We believe that KART helps integrate past and future findings on privacy risk and will contribute to a standard for sharing language models.

研究の動機と目的

• 事前学習言語モデルのプライバシーリスク評価における標準化されたシナリオ定義の欠如に対処すること。
• 異なるプライバシー漏洩研究間での発見の比較可能性と移植性を向上させること。
• さまざまな現実世界の攻撃シナリオ下でのプライバシーリスクの上限推定を可能にすること。
• 将来的なリスク評価のための普遍的フレームワークを提供し、既存研究のメタアナリシスを支援すること。
• 言語モデルの共有に向けたプライバシーガイドラインの開発を支援すること。

提案手法

• KARTは、事前の知識（K）、ターゲット情報（T）、匿名化（A）、補助リソース（R）の4つのコア要因を用いてプライバシー漏洩シナリオをパラメータライズする。
• 各シナリオはK、A、R、Tの値の組み合わせとして表現され、攻撃条件の体系的分類が可能になる。
• 攻撃手法を固定し、シナリオパラメータを変化させることで、異なるシナリオ間でのリスクを直接比較可能となる。
• プライバシーリスクマージンは、アンカーシナリオ（例：K⁺A⁺R⁺）と弱化シナリオ（例：K⁺A⁻R⁺）間の漏洩率の差として計算され、シナリオの深刻さを示す。
• 本手法は先行研究の再分析に適用され、シナリオペア間でのリスク推定の一貫性が検証された。
• KARTを用いて、最も深刻なシナリオ（K⁺A⁺R⁺）が、特定の攻撃手法下でのリスクの上限推定として信頼できるものであることが示された。

実験結果

リサーチクエスチョン

• RQ1 事前学習言語モデルにおけるプライバシー漏洩シナリオを、研究間の比較可能性を高めるために体系的にパラメータライズする方法は何か？
• RQ2 KARTフレームワークは、シナリオの深刻さを観察されたプライバシー漏洩リスクとどの程度整合させるか？
• RQ3 KARTを用いて、特定の攻撃手法下でのプライバシーリスクの上限を推定できるか？
• RQ4 このフレームワークは、既存のプライバシーリスク評価のメタアナリシスをどのように支援するか？
• RQ5 普遍的なリスク指標は、多様なプライバシー漏洩タイプを十分に捉えることができるか？

主な発見

• アンカーシナリオと弱化シナリオペア間のプライバシーリスクマージンは、すべてのテストケースでゼロ以上であった。これは、シナリオの深刻さと観察されたリスクとの相関関係を示している。
• K⁺A⁺R⁺シナリオは一貫して最高のプライバシー漏洩率を示し、これは与えられた攻撃手法下でのリスクの上限に近いことを示唆している。
• K⁺A⁺R⁺とK⁺A⁻R⁺シナリオ間の小さなリスクマージンは、最も深刻な状況での漏洩の大部分が、正確な情報回復ではなくランダムな推測に起因している可能性を示唆している。
• KARTは先行研究のシナリオ仮定を再表現・明確化し、それらの多様性を明らかにするとともに、解釈可能性を向上させた。
• 同じ攻撃条件下で、異なるシナリオ間でのリスク比較が一貫して可能となり、研究の移植性が向上した。
• KARTは普遍的なリスクスコアを提供しないが、シナリオに配慮したリスク評価の構造的アプローチを提供し、将来的なモデル共有における標準化を支援する。