[論文レビュー] A Simple but Effective Classification Model for Grammatical Error Correction

Kaili Zhu, Chuan Wang+4 more|arXiv (Cornell University)|Jul 2, 2018

Natural Language Processing Techniques参考文献 8被引用数 6

ひとこと要約

本稿では、各誤りタイプをマルチクラス分類タスクとして扱う、シンプルでありながら効果的なニューラル分類モデルを提案する。大規模な単語語彙のテキストから人為的アノテーションを一切用いずに、文脈表現を同時に学習するための双方向GRUとアテンション機構を用い、CoNLL-2014テストセットでF₀.₅スコア45.05%を達成し、従来の分類器ベースの手法を上回り、産業的適用に非常に適していることが示された。

ABSTRACT

We treat grammatical error correction (GEC) as a classification problem in this study, where for different types of errors, a target word is identified, and the classifier predicts the correct word form from a set of possible choices. We propose a novel neural network based feature representation and classification model, trained using large text corpora without human annotations. Specifically we use RNNs with attention to represent both the left and right context of a target word. All feature embeddings are learned jointly in an end-to-end fashion. Experimental results show that our novel approach outperforms other classifier methods on the CoNLL-2014 test set (F0.5 45.05%). Our model is simple but effective, and is suitable for industrial production.

研究の動機と目的

• 複雑な特徴工学を回避する、文法的誤り訂正のためのニューラル分類モデルの開発。
• 人為的アノテート済み誤りデータを一切使用せず、大規模な単語語彙テキストからエンドツーエンドで文脈表現を学習すること。
• 冠詞、前置詞、動詞形、名詞数、動詞と主語の一致の5つの誤りタイプの分類性能の向上。
• 目的語の単語とその左・右の文脈間の依存関係を効果的にモデル化するアテンション機構の設計。
• 並列データやアノテート済み学習データへの依存を最小限に抑えることで、産業的生産に適したモデルの構築。

提案手法

• 入力文の単語表現を初期化するために、事前学習済みのGloVe埋め込みを用いる。
• 各誤りタイプごとに、目的語の単語で文を左・右の文脈に分割し、それぞれを双方向GRUを用いて別々に符号化する。
• 2種類のアテンション機構を適用する：1つは文脈語のみを使用し、もう1つは目的語を組み込んで表現を精緻化する。
• アテンションスコアは、隠れ状態と最終的な文脈表現間のパrameterized整合関数を用いて計算する。
• 最終的な文脈表現を、多層パーセプトロン（MLP）を用いて、各誤りタイプの事前に定義された誤り訂正クラスに分類する。
• 人為的アノテート済み誤りラベルを一切使用せず、文のマスキングと再構成によるデータ拡張を活用して、エンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 人為的アノテート済み誤りデータを一切必要としないニューラル分類モデルは、従来の分類器ベースのGECシステムを上回ることができるか？
• RQ2 アテンション機構は、シーケンスモデリングフレームワークにおいて、文法的誤り訂正のための長距離依存関係をどれほど効果的に捉えられるか？
• RQ3 単語語彙テキストから学習した文脈表現は、特定の誤りタイプの分類精度をどの程度向上できるか？
• RQ4 文脈表現と分類のエンドツーエンドでの共同学習は、従来の特徴工学ベースの分類器よりも優れた性能を発揮するか？
• RQ5 冠詞、前置詞、動詞形、主語・動詞の一致といった多様な誤りタイプを、1つの統一されたモデルアーキテクチャが効果的に処理できるか？

主な発見

• 提案モデルはCoNLL-2014テストセットでF₀.₅スコア45.05%を達成し、すべての従来の分類器ベース手法を上回った。
• アテンション機構の使用により、全誤りタイプで性能向上が見られ、特に主語・動詞一致（+7.9）および名詞数（+7.9）で最大の向上を示した。
• アテンション機構を備えたモデルは、冠詞誤りで48.83 F₀.₅を達成し、ベースラインから2.03ポイント向上した。
• CUUIシステム（36.79 F₀.₅）とディープコンテキストモデル（41.6 F₀.₅）を上回り、優れた分類能力を示した。
• 本モデルと公開のSMTシステムをハイブリッドに組み合わせたシステムは、F₀.₅が50.16に達し、ChollampattとNg（2018）の最先端結果（54.79）に近い水準に達した。
• モデルは、単純さ、並列データの必要性の欠如、単語語彙テキストの有効活用により、ニューラル機械翻訳システムよりも産業的適用に適している。