[論文レビュー] Text Revealer: Private Text Reconstruction via Model Inversion Attacks against Transformers

Ruisi Zhang, Seira Hidano+1 more|arXiv (Cornell University)|Sep 21, 2022

Adversarial Robustness in Machine Learning被引用数 13

ひとこと要約

Text Revealer は、微調整されたトランスフォーマーに基づくテキスト分類モデルからプライベートなテキストデータを再構築する最初のモデルインバージョン攻撃を提案する。ドメイン固有の公開データを用いて事前学習された GPT-2 生成器を活用し、ターゲットモデルからのフィードバックを用いて繰り返し隠れ状態を摂動することで、ベンチマークデータセット上で 84.29% の再構築率と 34.22% の精度を達成し、高精度なプライベート学習テキストの再構築を実現した。

ABSTRACT

Text classification has become widely used in various natural language processing applications like sentiment analysis. Current applications often use large transformer-based language models to classify input texts. However, there is a lack of systematic study on how much private information can be inverted when publishing models. In this paper, we formulate \emph{Text Revealer} -- the first model inversion attack for text reconstruction against text classification with transformers. Our attacks faithfully reconstruct private texts included in training data with access to the target model. We leverage an external dataset and GPT-2 to generate the target domain-like fluent text, and then perturb its hidden state optimally with the feedback from the target model. Our extensive experiments demonstrate that our attacks are effective for datasets with different text lengths and can reconstruct private texts with accuracy.

研究の動機と目的

• 微調整されたトランスフォーマーに基づくテキスト分類モデルからのモデルインバージョン攻撃を用いて、どの程度のプライベート情報が再構築可能かを調査すること。
• 視覚および表形式データにおける既存の研究と比較して、トランスフォーマーにおけるテキストモデルインバージョン攻撃の体系的かつ包括的な研究の不足を埋めること。
• 学習データへのアクセスを必要とせず、ターゲットモデルの予測結果から意味的で滑らかなプライベートテキストを再構築する手法を開発すること。
• 異なるテキスト長、モデルアーキテクチャ（BERT、TinyBERT）、およびデータセット（Emotion、Yelp）における攻撃の有効性を評価すること。

提案手法

• プライベートデータセットと同一ドメインの公開データセットを収集し、分布の類似性を確保する。
• 公開データセットに対して n-gram 分析を実施し、テキスト生成用のテンプレートとして高頻度のフレーズを抽出する。
• 公開データセット上で GPT-2 言語モデルを微調整し、ドメインに適した自然なテキストを生成する。
• ターゲットモデルの予測スコアからのフィードバックを用いて、GPT-2 の出力に対する繰り返し隠れ状態の摂動を適用する。
• ターゲットモデルの出力と望ましいラベル分布との間の交差エントロピー損失を最適化して摂動を最適化する。
• 主成分分析（PCA）を用いて、逆転されたテキストと真値の埋め込み表現の意味的類似性を可視化および比較する。

実験結果

リサーチクエスチョン

• RQ1 白ボックスアクセスでのターゲットモデルの予測結果のみを用いて、微調整されたトランスフォーマー・モデルからプライベート学習テキストをどの程度再構築できるか。
• RQ2 生成されたテンプレートの長さが、再構築されたプライベートテキストの品質および正確性にどのように影響するか。
• RQ3 異なるトランスフォーマー・アーキテクチャ（例：BERT 対 TinyBERT）およびテキスト分類データセットにおける攻撃の有効性はいかが。
• RQ4 逆転されたテキストは、元のプライベート学習データの意味的および分布的性質とどの程度一致するか。
• RQ5 公開データセットとプライベートデータセットとの類似性が、成功した再構築を可能にする上で果たす役割は何か。

主な発見

• Text Revealer は、BERT および TinyBERT をターゲットモデルとして用い、Emotion および Yelp データセットで再構築率（RR）84.29%、精度（Acc）34.22% を達成した。
• 攻撃は異なるテキスト長にわたり高い性能を維持しており、テンプレート長が短くなるに従い再構築精度が低下する傾向を示しており、より長いテンプレートがより優れた結果をもたらす。
• 公開データセットとプライベートデータセット間の Kendall tau 距離は、上位 10 個のトークンにおいて強いトークン頻度相関（相関係数 0.99）を示しており、公開データをテンプレート生成に活用することが妥当であることを裏付けている。
• 微調整済みモデルでは、公開データセットとプライベートデータセットの間で顕著な精度差が見られた（例：BERT はプライベートデータで 99.66%、公開データで 91.25%）ことから、学習データの記憶が顕著に観察された。
• 攻撃による逆転例は、PCA 可視化および表 5 の文単位比較により、意味的に整合性があり、真値に近い文脈的類似性を示している。
• Gumbel softmax や修正エントロピー損失といった代替損失関数と比較して、本手法は再構築率および精度の両面で優れた性能を示した。