[論文レビュー] To Transfer or Not to Transfer: Misclassification Attacks Against Transfer Learned Text Classifiers

Bijeeta Pal, Shruti Tople|arXiv (Cornell University)|Jan 8, 2020

Topic Modeling参考文献 31被引用数 8

ひとこと要約

本論文は、公開された教師モデル（例：GloVe、BERT）から得られる意図しない特徴を活用して、転移学習されたテキスト分類器に対する敵対的誤分類攻撃の初の研究を提示する。教師モデルにホワイトボックスアクセス、学生モデルにブラックボックスアクセスを持つグレーゾーン設定を用い、新しいワードスコア法および長さベースの攻撃手法を用いて、IMDBでは97%、フェイクニュース検出では78%の攻撃正答率を達成した。標準的な防御策は、これらの脅威を緩和できないことが示された。

ABSTRACT

Transfer learning --- transferring learned knowledge --- has brought a paradigm shift in the way models are trained. The lucrative benefits of improved accuracy and reduced training time have shown promise in training models with constrained computational resources and fewer training samples. Specifically, publicly available text-based models such as GloVe and BERT that are trained on large corpus of datasets have seen ubiquitous adoption in practice. In this paper, we ask, "can transfer learning in text prediction models be exploited to perform misclassification attacks?" As our main contribution, we present novel attack techniques that utilize unintended features learnt in the teacher (public) model to generate adversarial examples for student (downstream) models. To the best of our knowledge, ours is the first work to show that transfer learning from state-of-the-art word-based and sentence-based teacher models increase the susceptibility of student models to misclassification attacks. First, we propose a novel word-score based attack algorithm for generating adversarial examples against student models trained using context-free word-level embedding model. On binary classification tasks trained using the GloVe teacher model, we achieve an average attack accuracy of 97% for the IMDB Movie Reviews and 80% for the Fake News Detection. For multi-class tasks, we divide the Newsgroup dataset into 6 and 20 classes and achieve an average attack accuracy of 75% and 41% respectively. Next, we present length-based and sentence-based misclassification attacks for the Fake News Detection task trained using a context-aware BERT model and achieve 78% and 39% attack accuracy respectively. Thus, our results motivate the need for designing training techniques that are robust to unintended feature learning, specifically for transfer learned models.

研究の動機と目的

• 転移学習がテキスト分類器における敵対的誤分類攻撃への感受性を高めるかどうかを調査すること。
• 公開された教師モデルから学習した意図しない特徴を効率的に活用する、クエリ数が少ない攻撃手法の開発。
• 微調整、ドロップアウト、敵対的訓練などの既存防御策が、これらの新しい攻撃に対してどれほど耐性を示すかの評価。
• 意図しない特徴（例：単語の存在、文の長さ）が、学生モデルの誤分類を体系的に行うためにどのように利用可能かを示すこと。

提案手法

• 文脈に依存しない単語埋め込み（例：GloVe）向けに、各単語の分類確率への寄与度を定量化するワードスコアベースの攻撃を提案。
• 学生モデルのタスクに特化したシャドーモデルを訓練し、ワードスコアを予測することで、入力サイズに依存しない定数のクエリ回数で学生モデルにアクセス。
• 文脈に依存するモデル（例：BERT）向けに、文の長さや意味的構造といった特徴を活用する長さベースおよび文ベースの攻撃を導入。
• 教師モデルの特徴空間を用いて学生モデルの意思決定境界を近似し、クエリ数を制限しつつ効率的な敵対的例の生成を実現。
• スペルチェッカーおよび標準的な敵対的訓練などの一般的な防御策に対して、攻撃の耐性を示す。
• IMDB、フェイクニュース、Newsgroupのデータセットを用い、二値分類および多値分類の両設定で、実験的評価を通じて攻撃の成功を検証。

実験結果

リサーチクエスチョン

• RQ1 転移学習されたテキスト分類器において、教師モデルの意図しない特徴を活用して、入力を特定のターゲットクラスに誤分類する敵対的例を生成可能か？
• RQ2 単語の存在や文の長さといった意図しない特徴が、転移学習で学習された学生モデルの脆弱性にどのように影響を与えるか？
• RQ3 微調整、ドロップアウト、敵対的訓練といった標準的な防御策が、これらの転送ベースの誤分類攻撃に対してどれほど効果を示すか？
• RQ4 グレーゾーンの脅威モデルを活用することで、転移学習されたテキストモデル向けに、効率的かつクエリ数が少ない攻撃手法を設計可能か？

主な発見

• 提案されたワードスコア攻撃は、GloVeベースの転移学習を用いたIMDB Movie Reviewsデータセットで平均97%の攻撃正答率、フェイクニュース検出タスクで80%の正答率を達成した。
• 6クラスおよび20クラスの多クラスNewsgroupタスクでは、それぞれ75%および41%の正答率を達成し、ラベル空間のスケーリングにも対応可能であることが示された。
• BERTベースのフェイクニュース検出における長さベース攻撃は78%の攻撃正答率に達した一方、文ベース攻撃は39%にとどまり、構造的特徴への脆弱性が明らかになった。
• 文ベース攻撃はBERT埋め込み内の意味的および構造的パターンを悪用しており、文脈に依存するモデルが特徴ベースの操作に対して感受性であることを示している。
• 敵対的訓練、ドロップアウト、微調整といった標準的な防御策は、攻撃を緩和できず、転移学習モデルに根本的な脆弱性が存在することを示している。
• シャドーモデルの使用により、入力長に依存しないクエリ効率の高い攻撃が実現され、従来手法と比較して必要なクエリ数が削減された。