[論文レビュー] Learning Better Internal Structure of Words for Sequence Labeling

Yingwei Xin, Ethan Hart+2 more|arXiv (Cornell University)|Oct 29, 2018

Topic Modeling参考文献 23被引用数 8

ひとこと要約

本稿では、ダウンサンプリングを一切行わないファンネル形状のワイド畳み込みニューラルネットワーク、IntNetを提案する。このモデルは文字レベル表現からより豊かな内部語構造を学習することを目的としている。浅いまたは深すぎる狭いアーキテクチャに比べて、多スケールのサブワードパターンをより効果的に捉えることができ、外部リソースや手作業で作成した特徴量を一切使用せずに、命名抽出（NER）、品詞タグ付け、句切り分けのシーケンスラベル付けタスクで最先端の性能を達成している。特にオルタネート語（OOV）語ではオランダ語とスペイン語でF1スコアを2%以上向上させた。

ABSTRACT

Character-based neural models have recently proven very useful for many NLP tasks. However, there is a gap of sophistication between methods for learning representations of sentences and words. While most character models for learning representations of sentences are deep and complex, models for learning representations of words are shallow and simple. Also, in spite of considerable research on learning character embeddings, it is still not clear which kind of architecture is the best for capturing character-to-word representations. To address these questions, we first investigate the gaps between methods for learning word and sentence representations. We conduct detailed experiments and comparisons of different state-of-the-art convolutional models, and also investigate the advantages and disadvantages of their constituents. Furthermore, we propose IntNet, a funnel-shaped wide convolutional neural architecture with no down-sampling for learning representations of the internal structure of words by composing their characters from limited, supervised training corpora. We evaluate our proposed model on six sequence labeling datasets, including named entity recognition, part-of-speech tagging, and syntactic chunking. Our in-depth analysis shows that IntNet significantly outperforms other character embedding models and obtains new state-of-the-art performance without relying on any external knowledge or resources.

研究の動機と目的

• 文字ベースのCNNモデル（語表現用）と文表現用のモデルとの間のギャップを調査すること。通常、文表現用モデルはより深く、複雑である。
• 同じ目的を有するにもかかわらず、語表現用モデルは文表現用モデルほど洗練されていないのはなぜかを特定すること。
• シーケンスラベル付けタスクにおける最先端の文字埋め込みモデルの性能差を評価すること。
• 文字から内部語構造を捉える最適なニューラルアーキテクチャ（深さ対浅さ、広がり対狭さ）を特定すること。
• 外部リソースや特徴工学を一切使わず、レア語や未知語（OOV）語の性能を向上させる文字レベルモデルを開発すること。

提案手法

• ダウンサンプリングを行わず、複数のカーネルサイズを用い、異なるレベルの特徴を連結することで、順序パターンを保持するファンネル形状のワイド畳み込みニューラルネットワーク、IntNetを提案する。
• 多スケール畳み込みアーキテクチャを採用し、広い受容 field を持たせることで、前綴り、接尾語、語幹などの長さが異なるサブワードパターンを捉える。
• 文脈的な語レベル表現を共同でモデル化し、シーケンスラベルを予測するために、IntNetにLSTM-CRF層を組み合わせる。
• 限られた教師ありコーパスを考慮し、過学習を防ぐために訓練中に早期停止を適用する。
• 文字レベルの前処理、外部知識、手作業で作成した特徴量を一切使用せず、生の文字シーケンスに依存する。
• 交差エントロピー損失と誤差逆伝播を用い、標準的なシーケンスラベル付けデータセット上でエンドツーエンドにモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 なぜ語表現用の文字ベースモデルと文表現用モデルとの間でアーキテクチャの洗練度に差があるのか。このギャップをどのように埋め合わせられるか。
• RQ2 最先端の文字埋め込みモデル（例：char-CNN、char-LSTM）は、語レベル表現を学習する上で、性能にどの程度差があるのか。
• RQ3 文字から内部語構造を学ぶには、深く狭いアーキテクチャと浅く広いアーキテクチャのどちらがより適しているのか。
• RQ4 ダウンサンプリングを排除することで、語の接頭語・接尾語のような順序パターンのモデリングが向上するのか。
• RQ5 外部知識や手作業特徴量、共同学習なしに、文字レベルモデルが最先端の性能を達成できるか。

主な発見

• IntNetは、NER、品詞タグ付け、句切り分けを含む6つのシーケンスラベル付けデータセットすべてで、char-CNN や char-LSTM を顕著に上回った。
• オランダ語とドイツ語のデータセットにおいて、OOV語ではベースライン比でF1スコアを3%以上向上させ、レア語や未知語への一般化能力が優れていることを示した。
• オランダ語やスペイン語などの非英語データセットでは、前回の最先端性能を2%以上上回り、多言語にわたる強靭性を示した。
• char-CNN や char-LSTM よりも収束が遅いが、これはより複雑な表現を学習していることを示唆しており、早期停止により過学習を軽減できる。
• 最近接探索分析により、'11-month' と 'xx-month' のような語の形態パターンを、OOV状況下でもよりよく学習していることが確認された。
• char-CNN よりも20%程度訓練が遅いものの、推論速度は類似しており、文レベルモデルに比べてパラメータ数も少なく、シーケンスラベル付けに効率的である。