[論文レビュー] Choosing the Right Word: Using Bidirectional LSTM Tagger for Writing Support Systems

Victor Makarenkov, Lior Rokach+1 more|arXiv (Cornell University)|Jan 8, 2019

Topic Modeling参考文献 38被引用数 4

ひとこと要約

本稿では、英語としての第二言語（ESL）学習者を対象に、自動的な語の選択支援を目的とした双方向LSTMタガーモデルを提案する。大規模なラベルなしテキストコーパスを活用することで、手動でのアノテーションを一切用いずに文脈的に適切な語の置き換えを学習し、分野特化型（科学的文体）および一般用途の文書作成タスクの両方で最先端の手法を上回る性能を発揮する。主な貢献として、新規の教師なしアプローチ、および公開されたコード、モデル、ESL用のテストセットが挙げられる。

ABSTRACT

Scientific writing is difficult. It is even harder for those for whom English is a second language (ESL learners). Scholars around the world spend a significant amount of time and resources proofreading their work before submitting it for review or publication. In this paper we present a novel machine learning based application for proper word choice task. Proper word choice is a generalization the lexical substitution (LS) and grammatical error correction (GEC) tasks. We demonstrate and evaluate the usefulness of applying bidirectional Long Short Term Memory (LSTM) tagger, for this task. While state-of-the-art grammatical error correction uses error-specific classifiers and machine translation methods, we demonstrate an unsupervised method that is based solely on a high quality text corpus and does not require manually annotated data. We use a bidirectional Recurrent Neural Network (RNN) with LSTM for learning the proper word choice based on a word's sentential context. We demonstrate and evaluate our application on both a domain-specific (scientific), writing task and a general-purpose writing task. We show that our domain-specific and general-purpose models outperform state-of-the-art general context learning. As an additional contribution of this research, we also share our code, pre-trained models, and a new ESL learner test set with the research community.

研究の動機と目的

• 語の選択の課題、特に文法的誤りや語彙的置換に苦労するESL学習者を支援すること。
• 文法的誤り訂正（GEC）と語彙的置換（LS）の両タスクに一般化可能な統合的で教師なしのモデルを開発すること。
• 手動でアノテートされた訓練データに依存しないことにより、高価な人的ラベル作業を回避し、スケーラブルな展開を可能にすること。
• 言語的パターンに基づいて文脈的に正確な語の置換を提案する実用的で現実世界に即した文書支援ツールを構築すること。
• NLP研究コミュニティに新たな現実的でESL学習者向けのテストセット、事前学習済みモデル、オープンソースコードを寄付すること。

提案手法

• 大規模な単語言語テキストコーパス上で双方向LSTMネットワークを学習させ、語の文脈的表現を学習する。
• モデルは与えられた文脈において最も確率の高い正しい語を予測し、語の選択をタギング問題として扱う。
• 人手による誤りや置換のラベルが一切不要で、ラベルなしで高品質なテキストデータのみを用いる。
• モデルは2つの設定でファインチューニングおよび評価される：分野特化型の科学的文体コーパスと一般用途コーパス（COCA）。
• 各マスクされた語に対して、モデルが語彙全体にわたる予測確率分布を出力し、語の置換候補を生成する。
• 評価には、人手で編集されたテストセットを用いた平均逆順位（MRR）を用い、提案された修正の順位の質を測定する。

実験結果

リサーチクエスチョン

• RQ1 1つの教師なし双方向LSTMモデルが、語の選択において文法的誤り訂正（GEC）と語彙的置換（LS）の両タスクを効果的に処理できるか？
• RQ2 一般および分野特化型の文書作成において、最先端の教師ありGECおよびLSシステムと比較して、本モデルの性能はどの程度か？
• RQ3 科学的文体と一般用途の英語との間で、モデルの汎用性はどの程度高いか？
• RQ4 元の文に微妙な語の組み合わせ（collocation）や語形の誤りが含まれる場合、モデルは正しい語をどの程度効果的に提案できるか？
• RQ5 人手によるアノテート済み訓練データが一切不要な状態で、競争力のある性能を達成できるか？

主な発見

• 分野特化型モデルは、統合正解リストテストセットでMRR 0.61を達成し、1つの正解オプションモデルの下限を顕著に上回った。
• 一般用途モデルは、インターセクションテストセットでMRR 0.49を達成し、多様な語の選択タスクにおいて強力な性能を示した。
• 手動収集されたESLテストセットでは、分野特化型モデルがMRR 0.27を達成し、現実世界の文書作成状況における実用的価値を示した。
• 科学的および一般文書作成の両評価において、本モデルは最先端の文脈学習モデルを上回った。
• 語の組み合わせ、語形、定冠詞の使用など、さまざまな誤りタイプに対してもモデルは頑健に動作し、誤り固有の分類器を必要としなかった。
• 著者らは、新たな現実的でESL学習者向けのテストセット、事前学習済みモデル、コードを成功裏に公開し、再現性とさらなる研究を可能にした。