[論文レビュー] Character Composition Model with Convolutional Neural Networks for Dependency Parsing on Morphologically Rich Languages

Xiang Yu, Ngoc Thang Vu|arXiv (Cornell University)|May 30, 2017

Natural Language Processing Techniques参考文献 14被引用数 14

ひとこと要約

この論文では、語彙にない語（OOV語）をより効果的に扱えるように、従来の語の照合埋め込みを置き換える畳み込みニューラルネットワーク（CNN）ベースの文字構成モデルを提案している。このモデルは、語彙が豊富で屈曲的・接着的である言語における依存解析において、SPMRLベンチマークで最先端の性能を達成しており、語の照合モデルおよびLSTMベースのモデルを上回っている。特にバスク語、ハンガリー語、韓国語のような高OOV言語では、前回の最良のグリーディパーサーと比較して平均3%の向上を示している。

ABSTRACT

We present a transition-based dependency parser that uses a convolutional neural network to compose word representations from characters. The character composition model shows great improvement over the word-lookup model, especially for parsing agglutinative languages. These improvements are even better than using pre-trained word embeddings from extra data. On the SPMRL data sets, our system outperforms the previous best greedy parser (Ballesteros et al., 2015) by a margin of 3% on average.

研究の動機と目的

• 語彙に豊富で屈曲的・接着的な言語における依存解析において、稀なまたは未学習の語形に対応できない従来の語の照合埋め込みの問題を解決すること。
• 畳み込みニューラルネットワーク（CNN）を用いた文字レベルの構成が、LSTMのような再帰的モデルよりも、語彙的構造をよりよくモデル化できるかどうかを調査すること。
• 外部の未ラベルデータを必要とせず、事前学習済み語埋め込みや語の照合モデルを上回る性能を達成できるかどうかを評価すること。
• アブレーションスタディを通じて、異なる語彙的セグメント（接頭語、語幹、接尾語）が解析精度にどの程度寄与しているかを分析すること。

提案手法

• モデルは語の照合埋め込みを、語の文字レベル表現を処理するCNNに置き換える。複数のフィルターサイズを用いて、さまざまな長さのn-gramを捉える。
• 文字埋め込みは、サイズ3から9のフィルターを用いて畳み込まれ、その後マックスプーリングが適用され、各語の固定長ベクトル表現が得られる。
• 最終的な語の表現は、すべてのフィルターサイズからのプールド特徴を連結することで得られ、その後、遷移スコアの計算に用いる全結合ニューラルネットワークの入力として使用される。
• パーサーは、非射影的依存を処理できるように拡張されたArc-Standard遷移システムを用いたグリーディな遷移ベースのアプローチを採用している。
• 特徴テンプレートにはスタックとバッファからのトークンが含まれ、各トークンの語、品詞タグ、ラベル埋め込みを最初に組み合わせ、その後、活性化関数を適用した全結合層を適用して表現を計算する。
• モデルは、依存解析の遷移における交差エントロピー損失を用いて、平均確率的勾配降下法でエンドツーエンドに訓練される。

実験結果

リサーチクエスチョン

• RQ1 語彙に豊富で屈曲的・接着的な言語において、語の照合モデルおよびLSTMベースのモデルと比較して、CNNベースの文字構成モデルは依存解析性能を顕著に向上させるか？
• RQ2 文字構成モデルは、依存解析における語彙にない語（OOV）問題をどの程度軽減するか？
• RQ3 どの語彙的セグメント（接頭語、語幹、接尾語）が異なる言語において解析精度に最も寄与しているか？
• RQ4 データが限られる状況下でも、LSTMモデルに比べてCNNモデルが文字レベルの構成においてより効果的であるか？

主な発見

• CNNベースの文字構成モデルは、SPMRLベンチマークにおいて、前回の最良のグリーディパーサーと比較して、ラベル付きアタッチメントスコア（LAS）で平均3%の向上を示した。
• バスク語、ハンガリー語、韓国語のような接着的言語では、OOV率が高いため、モデルの改善が最大に達し、一部のケースでは5%以上の向上を示した。
• CNNモデルは、Ballesterosら（2015）の元のおよび再実装された双方向LSTMモデルを常に上回り、CNNが語彙的構成に於いてLSTMよりも適しているという実証的証拠を示している。
• OOV語の影響を低減する：OOVケースにおけるLASの向上は、語彙内語（IV）ケースよりも顕著に大きく、稀なまたは未学習の語を効果的に処理できることを確認している。
• アブレーションスタディの結果、接着的言語では接尾語が最も情報量が多く、マスクされた場合に性能低下が最大に達するが、混合語ではその寄与はやや小さい。
• 非接着的語彙的豊富言語では、語の照合モデルと同等の性能を示し、すべての接着的言語ではそれを上回っていることから、広範な適用可能性が示された。