[論文レビュー] Improving Robustness and Generality of NLP Models Using Disentangled Representations

Jiawei Wu, Xiaoya Li+4 more|arXiv (Cornell University)|Sep 21, 2020

Topic Modeling参考文献 96被引用数 5

ひとこと要約

この論文は、入力を複数の分離された表現にマッピングし、最終予測のためにアンサンブル化することで、NLPモデルのロバストネスと一般化性能を向上させる分離表現学習フレームワークを提案する。変分情報ボトルネックにおけるL2正則化またはトータルコリレーションを用いることで、標準的なタスクにおける精度の低下を最小限に抑えつつ、敵対的攻撃に対する防御力とクロスドメイン一般化性能が向上する。

ABSTRACT

Supervised neural networks, which first map an input $x$ to a single representation $z$, and then map $z$ to the output label $y$, have achieved remarkable success in a wide range of natural language processing (NLP) tasks. Despite their success, neural models lack for both robustness and generality: small perturbations to inputs can result in absolutely different outputs; the performance of a model trained on one domain drops drastically when tested on another domain. In this paper, we present methods to improve robustness and generality of NLP models from the standpoint of disentangled representation learning. Instead of mapping $x$ to a single representation $z$, the proposed strategy maps $x$ to a set of representations $\{z_1,z_2,...,z_K\}$ while forcing them to be disentangled. These representations are then mapped to different logits $l$s, the ensemble of which is used to make the final prediction $y$. We propose different methods to incorporate this idea into currently widely-used models, including adding an $L$2 regularizer on $z$s or adding Total Correlation (TC) under the framework of variational information bottleneck (VIB). We show that models trained with the proposed criteria provide better robustness and domain adaptation ability in a wide range of supervised learning tasks.

研究の動機と目的

• エンタングルド表現に起因する教師ありNLPモデルのロバストネス不足とドメイン一般化の欠如を解消すること。
• 敵対的攻撃やドメイン間の分布シフトに対してモデルの耐性を高めること。
• 構造的表現学習を通じて、ソース固有特徴、ターゲット固有特徴、一般特徴を分離すること。
• 顕著な精度損失なしに解釈可能性と性能を向上させる、シンプルかつ効果的なエンドツーエンド手法を開発すること。

提案手法

• モデルは入力xを単一のzではなく、K個の分離表現{z₁, ..., zK}にマッピングすることで、特徴の分離を促進する。
• 各表現ziは個別にログィットliに投影され、最終的な予測yはログィットのアンサンブルから導出される。
• L2正則化を適用して、表現間の多様性と分離性を促進する。
• 変分情報ボトルネック（VIB）フレームワーク内にトータルコリレーション（TC）を組み込み、表現間の相互情報量を最小化する。
• 交差エントロピー損失と分離正則化子（βL2またはγTC）を組み合わせた訓練目的を用い、タスクの精度と表現の分離性のバランスを取る。
• 一次微分勾配センシティビティ分析を用いて、個々のトークンが各分離表現にどのように影響を与えるかを可視化する。

実験結果

リサーチクエスチョン

• RQ1 分離表現はNLPにおける敵対的例に対するモデルのロバストネスを向上させ得るか？
• RQ2 分離表現はNLPタスクにおける分布シフトに伴うドメイン一般化性能を向上させ得るか？
• RQ3 L2またはTC正則化による表現分離の強制は、下流タスクでの性能向上に寄与するか？
• RQ4 ハイパーパramータ（β, γ）の異なる設定が、ロバストネスと精度のトレードオフにどのように影響するか？
• RQ5 分離表現は、感情極性などの異なる意味的側面を、より解釈可能に捉えることができるか？

主な発見

• VIB+TC手法は、PWWS敵対的攻撃ベンチマーク（IMDB、CNNバックボーン）で40.2%の精度を達成し、γ=0.15の条件下でベースライン（36.1%）を上回った。
• Regularizer手法は、β=0.15の条件下でPWWS攻撃で22.7%の精度を達成し、ベースラインの18.1%を上回り、ロバストネスの向上が確認された。
• β=0.15の条件下で、Regularizer手法はIMDBで綺麗な入力の精度を90.1%まで向上させ、敵対的防御性能も顕著に向上させた。
• VIB+TC手法は、γ=0.15の条件下でGA（w/LM）攻撃で38.8%の精度を達成し、ベースラインの34.7%を上回り、強力な防御能力を示した。
• 可視化により、z₁が肯定的センチメントをエンコードしているのに対し、z₄が否定的センチメントをエンコードしていることが確認され、意味的要因の分離が成立した。
• βとγの最適なハイパーパramータ値はそれぞれ0.1〜0.15の範囲にあり、この範囲を超えると性能が急激に低下した。