[論文レビュー] Exploiting N-Best Hypotheses to Improve an SMT Approach to Grammatical Error Correction

Duc Tam Hoang, Shamil Chollampatt+1 more|arXiv (Cornell University)|Jun 1, 2016

Natural Language Processing Techniques被引用数 16

ひとこと要約

この論文は、統計的機械翻訳（SMT）に基づく文法的誤り訂正（GEC）を、n番目に良い仮説を活用し、個々の訂正の妥当性を評価する教師あり編集分類器を用いることで改善する。この手法は、再順序付けまたは編集選択を用いて訂正精度を向上させ、CoNLL-2014ベンチマークで41.19%のF₀.₅スコアという、新たな最先端水準を達成した。これは、グローバルな文脈を組み込むことで顕著な向上を示している。

ABSTRACT

Grammatical error correction (GEC) is the task of detecting and correcting grammatical errors in texts written by second language learners. The statistical machine translation (SMT) approach to GEC, in which sentences written by second language learners are translated to grammatically correct sentences, has achieved state-of-the-art accuracy. However, the SMT approach is unable to utilize global context. In this paper, we propose a novel approach to improve the accuracy of GEC, by exploiting the n-best hypotheses generated by an SMT approach. Specifically, we build a classifier to score the edits in the n-best hypotheses. The classifier can be used to select appropriate edits or re-rank the n-best hypotheses. We apply these methods to a state-of-the-art GEC system that uses the SMT approach. Our experiments show that our methods achieve statistically significant improvements in accuracy over the best published results on a benchmark test dataset on GEC.

研究の動機と目的

• 文法的誤り訂正（GEC）システムにおけるフレーズベースSMTの限界、すなわち長距離依存関係やグローバルな文脈を捉えられないことによる不自然な訂正を是正すること。
• SMTシステムが生成するn番目に良い仮説を活用し、多様な訂正候補を含むことで、訂正精度を向上させること。
• グローバルな文脈的言語的文脈を用いて、個々の編集の妥当性を評価する教師あり編集分類器を開発すること。
• 再順序付けと編集選択の2つの新規手法を提案し、SMTベースのGECパフォーマンスを向上させること。

提案手法

• SMTベースのGECシステムが各入力文に対してn番目に良い仮説を生成し、複数の訂正候補を提供する。
• 最近接の名詞句・動詞句の頭部や文法的依存関係などの特徴を用いて、有効な編集と無効な編集を区別する教師あり編集分類器を訓練する。
• 再順序付けのため、分類器スコアを対数線形モデルの特徴として統合し、n番目に良い仮説を再順序付けする。
• 編集選択のため、全仮説にわたる編集の分類器スコアを計算し、重複しない最高スコアの編集を選び、新たな改善済み仮説を構築する。
• 編集分類器はSMTシステムに依存しない特徴を用いるため、複数のGECシステムに適用可能である。
• 本手法はCoNLL-2014ベンチマークで評価され、アブレーションスタディにより編集選択手法の有効性が確認された。

実験結果

リサーチクエスチョン

• RQ1 SMTベースのGECシステムが生成するn番目に良い仮説を活用することで、ベースラインSMTモデルを上回る訂正精度を達成できるか？
• RQ2 グローバルな文脈を考慮した場合、教師あり編集分類器が有効な編集を同定するのにどの程度効果的か？
• RQ3 複数の仮説から高得点の編集を組み合わせる編集選択は、個々の仮説の再順序付けよりも優れた結果をもたらすか？
• RQ4 n番目に良い仮説のn値を増やすと、性能はどの程度まで向上するか？
• RQ5 SMTモデルに依存しないことから、編集分類器は複数のGECシステムに一般化可能か？

主な発見

• 編集選択手法が最良のパフォーマンスを達成し、CoNLL-2014テストセットでF₀.₅スコア41.19%を記録した。これはベースラインSMTシステムを著しく上回った。
• 編集選択手法は、元のn番目に良いリストに存在しない仮説を生成した。これは、複数の仮説にわたる訂正を組み合わせられる能力を示している。
• 分類器スコアを用いた再順序付けはパフォーマンスを向上させたが、k > 10になると性能の向上が飽和した。これは、プルーニングのため多くの文で10未満の仮説が生成されたためである。
• 順位の低い仮説はパフォーマンスにほとんど寄与しなかった。これは、低スコアの編集を含むことが多く、再順序付けの特徴として平均分類器スコアが使用されたためである。
• 分類器の特徴、たとえば最近接の名詞句や動詞句の頭部は、主語・動詞一致や冠詞・名詞一致といった長距離依存関係を効果的に捉えていた。
• 分類器がSMTシステムに依存しないため、複数のGECシステムの出力を統合する応用が可能であり、広範な適用可能性を示唆している。