[論文レビュー] How Robust Are Character-Based Word Embeddings in Tagging and MT Against Wrod Scramlbing or Randdm Nouse?

Georg Heigold, Günter Neumann+1 more|arXiv (Cornell University)|Apr 14, 2017

Natural Language Processing Techniques被引用数 26

ひとこと要約

この論文は、誤字、文字の入れ替え、反転、語の並べ替えを含むさまざまな入力ノイズ条件下で、語彙的タグ付けおよびニューラル機械翻訳における文字ベースの単語埋め込みのロバスト性を調査する。合成ノイズデータで訓練することで、ノイズのある入力に対するモデル性能が著しく向上し、BPEベースのモデルに比べて文字レベルのモデルが優れていることが示され、ノイズ適応型訓練により、ノイズタイプを越えた一般化が可能であることを明らかにする。

ABSTRACT

This paper investigates the robustness of NLP against perturbed word forms. While neural approaches can achieve (almost) human-like accuracy for certain tasks and conditions, they often are sensitive to small changes in the input such as non-canonical input (e.g., typos). Yet both stability and robustness are desired properties in applications involving user-generated content, and the more as humans easily cope with such noisy or adversary conditions. In this paper, we study the impact of noisy input. We consider different noise distributions (one type of noise, combination of noise types) and mismatched noise distributions for training and testing. Moreover, we empirically evaluate the robustness of different models (convolutional neural networks, recurrent neural networks, non-neural models), different basic units (characters, byte pair encoding units), and different NLP tasks (morphological tagging, machine translation).

研究の動機と目的

• 非標準的かつノイズのある語形（誤字、並べ替え語、文字レベルの摂動など）に対するNLPモデル、特に文字ベースの埋め込みのロバスト性を評価すること。
• 合成ノイズデータで訓練することで、実世界のノイズ入力に対するモデルの一般化能力と性能が向上するかどうかを調査すること、特に語彙的タグ付けおよび機械翻訳において。
• 畳み込みニューラルネットワーク（CNN）、再帰ニューラルネットワーク（RNN）、条件付きランダムフィールド（CRF）ベースラインといった異なるモデリングアプローチ、文字とBPEの基本単位、およびノイズタイプの違いが入力摂動の処理に与える影響を比較すること。
• 訓練データとテストデータにおけるノイズ分布の不一致がもたらす影響を分析し、ノイズ適応型モデルの一般化能力を評価すること。
• ノイズ条件下で、文字レベル表現が、サブワード（BPE）または語レベル表現よりも本質的にロバストであるかどうかを特定すること。

提案手法

• 清澄な単語コーパスを用いて、制御された摂動（文字の入れ替え、反転、語の並べ替え）を加え、合成ノイズを生成する。ノイズ密度を変化させた。
• ノイズ適応型訓練の効果を評価するため、クリーンデータおよび合成ノイズを含むデータでモデルを訓練する。
• 主なモデリングアプローチとして、畳み込みニューラルネットワーク（CNN）、再帰ニューラルネットワーク（RNN）、語彙的タグ付けのための条件付きランダムフィールド（CRF）ベースラインを評価する。
• 文字とバイトペアエンコーディング（BPE）サブワードという2つの基本単位を比較し、BPEのサイズを変化させることで粒度のトレードオフを調査する。
• 語彙的タグ付け（英語およびドイツ語）とニューラル機械翻訳（英語-ドイツ語）という2つのタスクで実験を行い、標準ベンチマークを用いる。
• ノイズ分布の不一致を体系的にテストする。たとえば、入れ替えノイズで訓練し、並べ替えノイズでテストすることで、一般化能力を評価する。

実験結果

リサーチクエスチョン

• RQ1 誤字、文字の入れ替え、反転、語の並べ替えといった入力ノイズが、クリーンデータで訓練された最先端NLPモデルの性能にどのように影響するか？
• RQ2 合成ノイズデータで訓練することで、未観測のノイズ入力に対するモデルのロバスト性がどの程度向上するか、特に訓練とテストでノイズタイプが異なる場合に。
• RQ3 さまざまなノイズ条件下で、文字レベル表現とBPEベースの表現のロバスト性はどのように比較されるか？
• RQ4 ニューラルアーキテクチャの選択（CNN対RNN）が、ノイズ入力に対するロバスト性に顕著な影響を与えるのか、それとも表現レベルの選択が主な要因か？
• RQ5 ノイズ適応型訓練により、クリーンデータでの性能に劣化を来さずに、異なるノイズタイプや分布に一般化できるか？

主な発見

• 合成ノイズデータで訓練することで、ノイズ入力に対するモデル性能が著しく向上し、クリーンデータで訓練されたモデルがクリーン入力で達成する性能水準にまで到達する。
• 同じノイズタイプで訓練・テストした場合が最も良い結果を示すが、異なるノイズタイプ間でも一般化は依然として有効である。
• 特に文字レベルの摂動を伴うノイズ条件下では、文字レベル表現がBPEベースのモデルを常に上回る。
• ノイズ分布の不一致（例：入れ替えで訓練し、並べ替えでテスト）は、ノイズ密度の不一致よりも大きな悪影響を及ぼすことが示され、摂動の種類が頻度よりも重要であることがわかる。
• RNNとCNNアーキテクチャは、類似したロバスト性の傾向を示しており、ニューラルアーキテクチャの選択は、入力表現の選択ほど影響が小さいことが示唆される。
• 語彙的タグ付けにおいて、ニューラルモデル（RNN/CNN）はクリーンおよびノイズ入力の両方でCRFベースラインを上回り、ノイズ適応型訓練で最も高い性能を達成する。