[論文レビュー] Privacy-Adaptive BERT for Natural Language Understanding

Chen Qu, Weize Kong+4 more|arXiv (Cornell University)|Apr 15, 2021

Privacy-Preserving Technologies in Data参考文献 33被引用数 8

ひとこと要約

本稿では、局所的微分プライバシー（dx-プライバシー）下での自然言語理解（NLU）モデルのパフォーマンス向上を目的として、プライバシーに適応したBERT事前学習を提案する。入力テキストおよびトークン埋め込みのレベルでプライバシーを最適化し、プライバシーに適応した事前学習が、プライバシー化された入力に対する性能向上を顕著に改善することを示している。また、最適なプライバシーパラメータ選定に関する実証的ガイダンスを提供する。

ABSTRACT

When trying to apply the recent advance of Natural Language Understanding (NLU) technologies to real-world applications, privacy preservation imposes a crucial challenge, which, unfortunately, has not been well resolved. To address this issue, we study how to improve the effectiveness of NLU models under a Local Privacy setting, using BERT, a widely-used pretrained Language Model (LM), as an example. We systematically study the strengths and weaknesses of imposing dx-privacy, a relaxed variant of Local Differential Privacy, at different stages of language modeling: input text, token embeddings, and sequence representations. We then focus on the former two with privacy-constrained fine-tuning experiments to reveal the utility of BERT under local privacy constraints. More importantly, to the best of our knowledge, we are the first to propose privacy-adaptive LM pretraining methods and demonstrate that they can significantly improve model performance on privatized text input. We also interpret the level of privacy preservation and provide our guidance on privacy parameter selections.

研究の動機と目的

• 現実世界のNLUアプリケーションにおけるユーザーのプライバシーを、局所的プライバシー制約下で保持する課題に対処すること。
• BERTの異なる段階（入力テキスト、トークン埋め込み、シーケンス表現）にdx-プライバシーを適用した場合の影響を調査すること。
• プライバシーに適応した事前学習手法を開発・評価し、プライバシー化された入力におけるモデルパフォーマンスの向上を図ること。
• プライバシーと有用性のトレードオフを最適化するためのプライバシーパラメータ（ε）の選定に関する実証的ガイダンスを提供すること。

提案手法

• BERTのファインチューニング中に、入力テキストおよびトークン埋め込みにdx-プライバシー（局所的微分プライバシーの緩和形態）を適用する。
• 入力および埋め込みレベルでdx-プライバシーでノイズを加えたデータを用いて再学習することで、プライバシーに適応した事前学習を提案する。
• 微分プライバシー機構を用いて埋め込みおよび入力にノイズを注入し、プライバシーを保持しながらもモデルの有用性を維持する。
• プライバシーと有用性のトレードオフを評価するために、入力、埋め込み、表現の各レベルで体系的なアブレーションスタディを実施する。
• さまざまなプライバシー予算下での下流NLUタスクにおける精度やF1スコアなどの有用性指標を用いて、モデルパフォーマンスを評価する。
• プライバシーパラメータ（ε）とモデルパフォーマンスの関係を分析し、パラメータ選定のガイドラインを導出する。

実験結果

リサーチクエスチョン

• RQ1 BERTの異なる段階（入力、埋め込み、表現）にdx-プライバシーを適用した場合、下流NLUタスクのパフォーマンスにどのように影響するか？
• RQ2 標準的なファインチューニングと比較して、プライバシーに適応した事前学習は、dx-プライバシー化された入力におけるモデルの有用性を向上させられるか？
• RQ3 NLUタスクにおいて、プライバシーとモデル有用性のバランスを最適化するためのプライバシーパラメータ（ε）の最適選定は何か？
• RQ4 さまざまなNLUベンチマークにおいて、プライバシー保護の水準とモデルパフォーマンスの相関関係はどのように変化するか？

主な発見

• 同じプライバシー予算下でも、プライバシーに適応した事前学習は、標準的なファインチューニングと比較して、dx-プライバシー化された入力におけるモデルパフォーマンスを顕著に向上させる。
• 入力および埋め込みレベルにdx-プライバシーを適用した場合、シーケンス表現レベルに適用した場合よりも高い有用性が得られる。
• 本研究では、高い有用性を維持しながらも強力なプライバシー保証を実現するための最適なプライバシーパラメータ範囲（ε）を同定した。
• 実証的結果から、事前学習段階でdx-プライバシー化されたデータを用いてBERTを再学習することで、下流NLUタスクにおけるより高い耐性を持つパフォーマンスが得られることを示した。