[論文レビュー] Grammar as a Foreign Language

Oriol Vinyals, Łukasz Kaiser+4 more|arXiv (Cornell University)|Dec 23, 2014

Natural Language Processing Techniques参考文献 31被引用数 402

ひとこと要約

本稿では、構文的構成解析木を線形化されたシーケンスとして扱う、ドメインに依存しないアテンション拡張型のシーケンス・ツー・シーケンスLSTMモデルを提案する。大規模な合成コーパス（既存のパーサーによって生成）を用いて訓練することで、WSJテストセットにおいて92.5（単一モデル）および92.8（アンサンブル）という最先端のF1スコアを達成し、標準パーサーやBerkeleyParserを上回る性能を示した。また、高いデータ効率性と高速性を兼ね備えている。

ABSTRACT

Syntactic constituency parsing is a fundamental problem in natural language processing and has been the subject of intensive research and engineering for decades. As a result, the most accurate parsers are domain specific, complex, and inefficient. In this paper we show that the domain agnostic attention-enhanced sequence-to-sequence model achieves state-of-the-art results on the most widely used syntactic constituency parsing dataset, when trained on a large synthetic corpus that was annotated using existing parsers. It also matches the performance of standard parsers when trained only on a small human-annotated dataset, which shows that this model is highly data-efficient, in contrast to sequence-to-sequence models without the attention mechanism. Our parser is also fast, processing over a hundred sentences per second with an unoptimized CPU implementation.

研究の動機と目的

• アテンションを備えた汎用的なシーケンス・ツー・シーケンスモデルが、解析用のアーキテクチャ的制約なしに、構文的構成解析で最先端の性能を達成できるかを調査すること。
• 小規模な人工作業による解析データセット上で、アテンション付きシーケンス・ツー・シーケンスモデルと標準シーケンス・ツー・シーケンスモデルのデータ効率性を比較すること。
• 既存のパーサーによって生成された自動ラベル付の合成データセットが、高性能な解析モデルの訓練に有効であるかを評価すること。
• 誤りのあるラベルが付与された合成データで訓練されたモデルが、そのデータを生成したパーサーの性能を上回れるかを検証すること。
• 複雑で手作業で設計されたドメイン特化パーサーと同等またはそれを上回る精度を達成できる、高速でスケーラブルかつドメインに依存しない解析システムを開発すること。

提案手法

• モデルは、入力文をエンコードし、線形化された解析木をデコードするための深層LSTM（Long Short-Term Memory）ネットワークを用い、入力と出力のシーケンスに共通のパラメータ化を適用する。
• デコード段階でアテンション機構を適用し、各デコードステップで関連するエンコーダー状態に動的に注目できるようにすることで、長距離シーケンスのアライメントを向上させる。
• モデルは確率的勾配降下法を用いて訓練され、入力文に対して正しい線形化された解析木の対数尤度を最大化するように最適化される。
• 合成トレーニングデータは、大規模コーパスに対してBerkeleyParserを用いて生成され、2つのパーサー間の合意をもとに高信頼度の解析木を選別することで、データ品質を向上させる。
• データ効率性と一般化性能を評価するために、小規模な人工作業によるデータセット（例：100万トークン）でファインチューニングを行う。
• 推論は自己回帰的に実行され、終端トークンが出力されるまで、1トークンずつ生成される。

実験結果

リサーチクエスチョン

• RQ1 アテンションを備えた汎用的なシーケンス・ツー・シーケンスモデルは、解析用のアーキテクチャ的改造なしに、構文的構成解析で最先端の性能を達成できるか？
• RQ2 小規模な人工作業による解析データセット上で、アテンション拡張型シーケンス・ツー・シーケンスモデルと標準シーケンス・ツー・シーケンスモデルのデータ効率性はどのように比較されるか？
• RQ3 既存のパーサーから生成された、ノイズを含む可能性のあるラベルが付与された合成データセットでも、元のパーサーを上回る解析性能が得られるか？
• RQ4 教師が生成したラベルの誤りをモデルが無視できる能力が、テストセットでの性能向上に寄与しているか？
• RQ5 合成データで訓練された単一の非アンサンブルモデルが、広く使われているドメイン特化パーサー（例：BerkeleyParser）の性能を上回れるか？

主な発見

• アテンション拡張型のシーケンス・ツー・シーケンスモデルは、高信頼度の解析木から構成される合成コーパスで訓練された結果、WSJテストセット（セクション23）でF1スコア92.5を達成し、新たな最先端水準を樹立した。
• アンサンブルを用いることで、F1スコアは92.8に上昇し、同じテストセットで90.4のF1スコアを記録したBerkeleyParserをさらに上回った。
• 小規模な人工作業データセット（100万トークン）において、アンサンブルを用いない場合のF1スコアは88.3、アンサンブルを用いる場合は90.5を達成し、BerkeleyParserのF1スコア90.4に並んだ。
• 未最適化のCPU実装でも、1秒間に100件以上の文を処理することができ、推論速度が非常に高速であることが示された。
• モデルはBerkeleyParserが生成したデータで訓練されたにもかかわらず、BerkeleyParserを上回る性能を示した。これは、学生モデルがラベルノイズを効果的に無視できることを示唆している。
• アテンション機構はデータ効率性を顕著に向上させ、標準シーケンス・ツー・シーケンスモデルが失敗するような小規模な人工作業データセットでも、優れた性能を発揮できた。