[論文レビュー] Something Old, Something New: Grammar-based CCG Parsing with Transformer Models

Stephen Clark|arXiv (Cornell University)|Sep 21, 2021

Natural Language Processing Techniques参考文献 72被引用数 8

ひとこと要約

本稿では、Transformerに基づくニューラルモデルと記号的Combinatory Categorial Grammar (CCG)パーサーを組み合わせたハイブリッドアプローチを提案する。マルチタガーを用いたスーパー・タギングと、文法ベースのパーサーとの統合を実施する。この手法はCCGbankテストセットにおいて93.0%のFスコアを達成し、完全文精度は54%を超える。従来のシステムに比べて顕著な向上を示している。

ABSTRACT

This report describes the parsing problem for Combinatory Categorial Grammar (CCG), showing how a combination of Transformer-based neural models and a symbolic CCG grammar can lead to substantial gains over existing approaches. The report also documents a 20-year research program, showing how NLP methods have evolved over this time. The staggering accuracy improvements provided by neural models for CCG parsing can be seen as a reflection of the improvements seen in NLP more generally. The report provides a minimal introduction to CCG and CCG parsing, with many pointers to the relevant literature. It then describes the CCG supertagging problem, and some recent work from Tian et al. (2020) which applies Transformer-based models to supertagging with great effect. I use this existing model to develop a CCG multitagger, which can serve as a front-end to an existing CCG parser. Simply using this new multitagger provides substantial gains in parsing accuracy. I then show how a Transformer-based model from the parsing literature can be combined with the grammar-based CCG parser, setting a new state-of-the-art for the CCGbank parsing task of almost 93% F-score for labelled dependencies, with complete sentence accuracies of over 50%.

研究の動機と目的

• ニューラルモデルと記号的文法形式を統合することで、CCGパーサーの精度を向上させること。
• 完全にニューラル的または完全に記号的なCCGパーサーの限界を補完するため、ハイブリッドアーキテクチャを提案すること。
• Transformerの文脈的強みをスーパー・タギングに活用しつつ、CCGの構造的インダクティブバイアスを保持すること。
• 特にラベル付き依存関係および完全文精度において、CCGbankベンチマークで最先端のパフォーマンスを達成すること。
• 現代のNLPにおける構文的・構造的な言語理解に向け、文法に anchored されたニューラルモデルの実現可能性を検討すること。

提案手法

• Tian et al. (2020) のTransformerモデルに基づくマルチタガーを訓練し、語に文法的カテゴリ（スーパー・タグ）を割り当てる。
• マルチタガーは、従来のスーパー・タギング部品に代わる、記号的CCGパーサーのフロントエンドとして機能する。
• ニューラルスコアリングと記号的導出規則を組み合わせた、Transformerベースのニューラルパーサーを文法ベースのCCGパーサーに統合する。
• 精度と速度のバランスを図るため、ビーム幅を変化させたビームサーチを採用。効率性を高めるためにスキマー・モードを導入。
• 前方/後方適用、型昇格、前方合成といった結合規則を用い、構文的移動や抽出を処理する。
• CCGbankテストセット（セクション00）を用いて評価し、Fスコア、文精度、パーサー速度を測定する。

実験結果

リサーチクエスチョン

• RQ1 Transformerに基づくニューラルスーパー・タギングが、記号的パーサーと統合された場合、CCGパーサーの精度を顕著に向上させ得るか？
• RQ2 ニューラルスコアリングと記号的結合規則を統合した場合、CCGbankにおけるパーサー性能にどのような影響を与えるか？
• RQ3 ビーム幅を変化させた場合、ハイブリッドパーサーにおける精度と速度のトレードオフはどのようなものか？
• RQ4 文法に anchored されたニューラルモデルは、従来のニューラルおよび記号的CCGパーサーをどの程度上回るか？
• RQ5 このようなハイブリッドシステムは、低ビーム幅でも高い精度を維持できるか。これは、探索制約に対する耐性を示唆する。

主な発見

• ハイブリッドシステムは、CCGbankテストセットにおけるラベル付き依存関係で、93.0%という新たなSOTAのFスコアを達成した。
• 完全文精度はCCGbankテストセットで54%に達し、従来の手法を著しく上回った。
• ビーム幅が8でさえも93.0%の高い精度を維持しており、ビーム幅4ではわずかに91.7%に低下したにとどまる。
• CPU上で約100文／秒のパース速度を達成し、非最適化されたJava実装にもかかわらず実用的な効率性を示した。
• 「%-skimmed」列では、ビーム幅64で0.9%の文しかスキマー・モードで処理されていないため、メインパーサーの信頼性が極めて高いことが示された。
• 結果から、ニューラルモデルが、シフト・リダクションパーサーの先行研究と同様に、広範な探索の必要性を著しく低減することが確認された。