[論文レビュー] Attending to Characters in Neural Sequence Labeling Models

Marek Rei, Gamal Crichton+1 more|arXiv (Cornell University)|Nov 14, 2016

Topic Modeling参考文献 23被引用数 67

ひとこと要約

本論文は、順序付けられたラベル付けモデルにおいて、語彙レベルの表現と文字レベルの表現を動的に統合する注目メカニズムに基づくニューラルアーキテクチャを提案する。この手法により、希少語や未知語（OOV）語の性能が向上する。本手法は、8つの多様なデータセットで最先端の結果を達成しており、ベースラインモデルよりもパラメータ数を減らしている。

ABSTRACT

Sequence labeling architectures use word embeddings for capturing similarity, but suffer when handling previously unseen or rare words. We investigate character-level extensions to such models and propose a novel architecture for combining alternative word representations. By using an attention mechanism, the model is able to dynamically decide how much information to use from a word- or character-level component. We evaluated different architectures on a range of sequence labeling datasets, and character-level extensions were found to improve performance on every benchmark. In addition, the proposed attention-based architecture delivered the best results even with a smaller number of trainable parameters.

研究の動機と目的

• 順序付けられたラベル付けタスクにおける語彙レベル表現の限界、特に希少語や未知語（OOV）語の処理を改善すること。
• 文字レベルの表現による語彙の形態的パターンの捉え込みにより、一般化性能を向上させること。
• 語彙レベルと文字レベルの特徴を知的に統合する動的統合メカニズムを開発すること。
• モデルの性能を維持または向上させながら、パラメータ数を削減すること。
• NER、POS テーピング、誤り検出を含む、多様な順序付けられたラベル付けベンチマークにおいて、提案アーキテクチャの評価を行うこと。

提案手法

• 双方向LSTMが語彙レベルの表現を処理し、文脈に応じた表現を生成した後、キーポイント特徴を抽出するために狭い全結合層を適用する。
• 別個の双方向LSTMが各語の個々の文字を処理し、文字レベルの表現を生成する。
• 注目メカニズムが、各トークンについて語彙レベル表現と文字レベル表現を動的に重み付けして統合する。
• 文字レベルコンponentは、既存の語彙レベル表現を模倣する新しい目的関数で訓練され、整合性と一般化性能が向上する。
• 最終的な予測層は、softmaxまたはCRFを用い、ラベル系列をモデル化する。CRFはトークン間のラベル整合性を保証する。
• モデルはカテゴリークロスエントロピー損失を用いて訓練され、ハイパーパramータは開発セット上で最適化される。

実験結果

リサーチクエスチョン

• RQ1 文字レベルの表現は、希少語や未学習語の順序付けられたラベル付け性能を向上させることができるか？
• RQ2 語彙レベルと文字レベルの表現を動的に注目メカニズムで統合する方法は、固定された連結統合よりも優れているか？
• RQ3 語彙レベル表現を模倣するように訓練された文字レベルコンponentは、全体のモデル一般化性能を向上させることができるか？
• RQ4 提案アーキテクチャは、既存のモデルよりも少ない学習可能なパラメータ数で優れた性能を達成できるか？
• RQ5 注目メカニズムに基づくモデルは、多様な順序付けられたラベル付けタスクおよびドメインに対してどれほど頑健か？

主な発見

• 文字レベル拡張は、NER、POS テーピング、チャンクング、誤り検出を含む、評価された8つの順序付けられたラベル付けベンチマークすべてで性能向上をもたらした。
• 注目メカニズムに基づく統合モデルは、すべてのデータセットで最高の結果を達成し、語彙のみのモデルや連結ベースの文字モデルを上回った。
• 注目モデルは、ベースラインの語彙のみのモデルよりも少ない学習可能なパラメータ数を要し、パラメータ効率の向上を示した。
• 模倣目的関数で訓練された文字レベルコンponentは、特に希少語やOOV語において、表現品質を顕著に向上させた。
• 多様なドメインにわたり一貫した向上が見られたため、強力な一般化性能とタスク独立性が示された。
• 注目メカニズムにより、情報源の動的選択が可能となり、必要に応じて文字レベル特徴を適応的に利用できるようになった。