[論文レビュー] BERT & Family Eat Word Salad: Experiments with Text Understanding

Ashim Gupta, Giorgi Kvernadze+1 more|arXiv (Cornell University)|Jan 10, 2021

Topic Modeling参考文献 43被引用数 24

ひとこと要約

この論文は、最先端の BERT ファミリーのモデルが、アルファベット順に並べ替えたり、語の順序を入れ替えたりした意味のない入力（語の砂利）を一貫して認識できないことを示している。これらの入力は言語的意味を持たないが、モデルは依然として高い信頼性を持つ予測を出力する。主な貢献は、正則化や追加の「無効」クラスを用いて無効な入力を明示的に拒否するように訓練することで、有効なデータに対する性能を維持したまま、無意味な入力を強力に検出できるモデルを構築できることを示したことである。これは、現在の NLP モデルの理解能力に深刻な欠陥があることを明らかにしている。

ABSTRACT

In this paper, we study the response of large models from the BERT family to incoherent inputs that should confuse any model that claims to understand natural language. We define simple heuristics to construct such examples. Our experiments show that state-of-the-art models consistently fail to recognize them as ill-formed, and instead produce high confidence predictions on them. As a consequence of this phenomenon, models trained on sentences with randomly permuted word order perform close to state-of-the-art models. To alleviate these issues, we show that if models are explicitly trained to recognize invalid inputs, they can be robust to such attacks without a drop in performance.

研究の動機と目的

• 最先端の BERT ベースのモデルが、意味のある入力と意味のない（語の砂利）入力とを区別できるかどうかを調査すること。
• 言語的構造や意味を消失させる破壊的変換（例：アルファベット順に並べ替え、語の順序を入れ替え）に対して、これらのモデルがどれほど脆弱であるかを明らかにすること。
• 有効なデータに対する性能を損なわせることなく、無効な入力を認識して拒否できるようにする緩和戦略の評価すること。

提案手法

• 入力形式を保ったまま、意味を失わせる9種類の破壊的変換（例：アルファベット順に並べ替え、語の順序の入れ替え、繰り返し）を定義する。
• GLUE ベンチマークのタスク（NLI、類似文検出、感情分析）のテスト例にこれらの変換を適用し、無効な入力を生成する。
• 3つの緩和戦略（エントロピー正則化、確率しきい値設定、明示的な「無効」クラスの追加）を用いて、無効な例を含むデータセットで RoBERTa モデルを訓練および微調整する。
• 元のデータの正解率と無効入力の検出率を測定し、ハイパーパrameter を検証セットで最適化する。
• 確率のキャリブレーションに温度スケーリングを用い、しきい値設定の最適化にグリッドサーチを適用する。
• 緩和戦略の一般化能力を評価するため、ある変換で学習したモデルを他の変換でテストする。

実験結果

リサーチクエスチョン

• RQ1 BERT ファミリーのモデルは、アルファベット順に並べ替えたり、語の順序を入れ替えたりした意味のない入力（語の砂利）を信頼性高く検出できるか？
• RQ2 意味的・文法的構造を欠いた無効な入力に対して、最先端のモデルがどれほど高い信頼性を持つ予測を出力し続けるのか？
• RQ3 標準的な、構造が整った入力に対する性能を損なわせることなく、無効な入力を拒否できるようにモデルを訓練できるか？
• RQ4 エントロピー正則化や「無効」クラスの導入といった緩和戦略は、破壊的変換に対する耐性を向上させるか？
• RQ5 無効な入力の検出能力は、異なる種類の破壊的変換の間で一般化可能か？

主な発見

• MNLI データセットにおいて、RoBERTa モデルは、仮説をアルファベット順に並べ替えても、平均95％の信頼度で同じ entailment の予測を維持した。
• MNLI の79％の例で、アルファベット順に並べ替えられた仮説についても、元の入力と同じラベル（entailment、contradiction、neutral）が予測されたが、言語的整合性は失われていた。
• ランダムに並び替えられた語の順序で微調整されたモデルは、元のテストセットにおいて元のモデルとほぼ同等の性能を示した。これは、構文的構造が高い性能を発揮するために不可欠ではないことを示している。
• エントロピー正則化により、無効な入力に対する同意スコアは平均35％に低下し、不確実性が著しく増加した。ただし、一部のケースでは有効なデータに対する正解率が1％以上低下した。
• 明示的な「無効」クラスを追加する戦略（B + Invalid）が最もバランスが良く、有効なデータに対する高い正解率を維持しながら、すべての変換に対して97.10％の無効入力の正しく検出率を達成した。
• 「無効」クラスによる緩和は一般化可能であった。ある変換タイプで学習したモデルは、他の変換タイプに対しても良好に一般化し、広範な適用可能性を示した。