[論文レビュー] Towards Robust and Privacy-preserving Text Representations

Yitong Li, Timothy Baldwin+1 more|arXiv (Cornell University)|May 16, 2018

Topic Modeling参考文献 15被引用数 23

ひとこと要約

本稿では、性別、年齢、場所などのデモグラフィック属性に対して頑健なテキスト表現を学習するための敵対的学習手法を提案している。これにより、プライバシー保護とモデルの汎化性能が向上する。主モデルとディスクリミネーターを同時に訓練することで、これらの属性を隠蔽し、タスクの精度を損なわずに出域データに対する性能を向上させることに成功し、感情分析および品詞タグ付けタスクにおいて顕著なプライバシー向上効果を示した。

ABSTRACT

Written text often provides sufficient clues to identify the author, their gender, age, and other important attributes. Consequently, the authorship of training and evaluation corpora can have unforeseen impacts, including differing model performance for different user groups, as well as privacy implications. In this paper, we propose an approach to explicitly obscure important author characteristics at training time, such that representations learned are invariant to these attributes. Evaluating on two tasks, we show that this leads to increased privacy in the learned representations, as well as more robust models to varying evaluation conditions, including out-of-domain corpora.

研究の動機と目的

• 表現学習の過程で明示的にデモグラフィック属性を隠すことにより、NLPにおけるモデルバイアスとプライバシー漏洩を是正すること。
• 著者属性の混同要因を低減することで、特に出域データに対してモデルの頑健性を向上させること。
• タスクパフォーマンスを維持しつつ、学習されたテキスト表現のプライバシーを向上させる手法を開発すること。
• 敵対的訓練が隠れ表現における個人情報属性の判別可能性を低下させることを実証的に評価すること。
• プライバシー保護型表現が、特にリソースが限られた環境や出域設定において、高いタスクパフォーマンスと両立できることを示すこと。

提案手法

• 敵対的訓練を用い、プライベート属性（性別、年齢、場所）の予測可能性を学習された隠れ表現から最小化する。
• 主モデルを、ターゲットラベル（例：感情分析や品詞タグ）を予測する一方で、隠れ表現 h からディスクリミネーターがプライベート属性を推定できるようにしないように訓練する。
• ハイパーパrameter λ を用いて、主タスク損失と敵対的損失を重み付けした損失関数を適用し、プライバシーとパフォーマンスのバランスを調整する。
• 隠れ表現 h からプライベート属性を予測するためのフィードフォワードニューラルネットワークをディスクリミネーターとして採用する。
• 初期化に word2vec 嵪合を用い、隠れ表現 h にドロップアウト（率 0.5）を適用することで学習の正則化を図る。
• インドメインおよびアウトオブドメインデータの両方でモデルを評価し、タスク精度とディスクリミネーターの性能（プライバシーの指標として）を測定する。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練により、性別、年齢、場所などのデモグラフィック属性が学習されたテキスト表現から効果的に隠蔽可能か？
• RQ2 著者属性の混同信号を除去することで、特に出域データに対してモデルの汎化性能が向上するか？
• RQ3 プライバシー保護型表現学習が、下流NLPタスクのパフォーマンスを劣化させることなく実現可能か？
• RQ4 プライベート属性の予測性能が、学習済み表現のプライバシー状態をどの程度反映しているか？
• RQ5 1つの属性（例：場所）の保護が、他の属性（例：年齢や性別）のプライバシー保護にも寄与するか？

主な発見

• プライバシー制約を追加しても、ベースラインと比較してタスクパフォーマンスが維持され、あるいはわずかに向上しており、例として感情分析タスクで F1 スコア 40.242 を達成した。
• プライベート属性の予測精度が著しく低下した。例として、場所の予測精度は 28.149% まで低下し、20.0% のマジョリティクラスベースラインに近づいた。これは強力なプライバシー保護を示している。
• 感情分析タスクでは、性別と場所のディスクリミネーター精度がそれぞれ 62.468% および 28.149% にまで低下し、ベースライン水準に近づいた。これにより、これらの属性の隠蔽が効果的に達成された。
• 3つの属性すべてを保護するように訓練したモデル（adv-all）が最も優れたプライバシー効果を示し、全属性でディスクリミネーター精度がマジョリティクラス水準以下またはそれに近い水準にまで低下した。
• 品詞タグ付けタスクでは、ベースラインの 71.66% から adv-all の 77.02% にマクロ平均精度が向上した。これはドメインシフトに対するモデルの頑健性向上を示している。
• 結果から、著者属性由来の混同信号を除去することで、特に出域評価下でより頑健な表現が得られることを示している。