[論文レビュー] Multi-Head Multi-Layer Attention to Deep Language Representations for Grammatical Error Detection

Masahiro Kaneko, Mamoru Komachi|arXiv (Cornell University)|Apr 15, 2019

Natural Language Processing Techniques参考文献 10被引用数 6

ひとこと要約

本稿では、文法的誤り検出（GED）の性能向上を図るために、BERTの中間層と最終層を活用するマルチヘッドマルチレイヤー注意（MHMLA）メカニズムを提案する。複数の層におけるマルチヘッドアテンションを通じてタスク固有の表現を学習することで、FCE（+6.0）、CoNLL14（+8.2）、JFLEG（+12.2）ベンチマークにおいて、BERT-baseおよび先行SOTA手法を上回る最先端のF₀.₅スコアを達成した。

ABSTRACT

It is known that a deep neural network model pre-trained with large-scale data greatly improves the accuracy of various tasks, especially when there are resource constraints. However, the information needed to solve a given task can vary, and simply using the output of the final layer is not necessarily sufficient. Moreover, to our knowledge, exploiting large language representation models to detect grammatical errors has not yet been studied. In this work, we investigate the effect of utilizing information not only from the final layer but also from intermediate layers of a pre-trained language representation model to detect grammatical errors. We propose a multi-head multi-layer attention model that determines the appropriate layers in Bidirectional Encoder Representation from Transformers (BERT). The proposed method achieved the best scores on three datasets for grammatical error detection tasks, outperforming the current state-of-the-art method by 6.0 points on FCE, 8.2 points on CoNLL14, and 12.2 points on JFLEG in terms of F_0.5. We also demonstrate that by using multi-head multi-layer attention, our model can exploit a broader range of information for each token in a sentence than a model that uses only the final layer's information.

研究の動機と目的

• 事前学習言語モデル（BERTなど）の中間層が、最終層を超えて文法的誤り検出に有用な情報を含んでいるかどうかを調査すること。
• 事前学習モデルの複数の層からタスク固有の表現を学習することで、GEDの性能を向上させること。
• BERTの異なる層間の情報を効果的に統合するメカニズムを設計し、GEDにおけるより良い文脈表現を実現すること。
• 複数の層にわたるマルチヘッドアテンションが、最終層のみを対象とする手法に比べて、各トークンごとに広範かつ効果的な情報利用を可能にすることを示すこと。

提案手法

• 提案されたMHMLAモデルは、BERTの複数の層からの隠れ表現にマルチヘッドアテンションを適用し、各トークンに対して動的に異なる層に注目できるようにする。
• モデルは、GEDデータ上でBERT-baseのすべてのパラメータを微調整し、エンドツーエンド学習によりタスク固有の表現を学習する。
• マルチヘッドアテンションは複数の部分空間で注意スコアを計算するため、モデルは同時に複数の層に注目でき、多様な言語的特徴を捉えることができる。
• 注意メカニズムは、学習可能なパララメータを用いて、異なる層の表現の重み付き和を計算し、ヘッド数が層の利用粒度を決定する。
• 本手法は、注意スコアに基づく重み付き和による層表現の統合を採用しており、各ヘッドが異なる層の組み合わせに注目するように学習する。
• モデルは、FCE、CoNLL14、JFLEGの3つのGEDデータセット上でエンドツーエンドに訓練され、追加されたMHMLAレイヤーを備えた標準的なBERT-baseアーキテクチャが使用された。

(a) BERT.

実験結果

リサーチクエスチョン

• RQ1 BERTの中間層は、最終層を超えて文法的誤り検出に補足的情報を提供できるか？
• RQ2 マルチヘッドマルチレイヤー注意は、複数の層からの表現を効果的に活用し、GED性能を向上させることができるか？
• RQ3 ヘッド数が、モデルが異なる層に注目する能力および精度向上に与える影響は何か？
• RQ4 最終層のみを使用するか、層の平均化を行うのと比較して、MHMLAを用いることで顕著な性能向上が得られるか？
• RQ5 MHMLAは、誤り検出に関連する構文的・意味的役割に対応する層に適切に注目する能力を学習できるか？

主な発見

• MHMLAモデルは、FCE、CoNLL14、JFLEGの3つのGEDベンチマークすべてで最先端のF₀.₅スコアを達成した。FCEでは前回SOTAより6.0ポイント、CoNLL14では8.2ポイント、JFLEGでは12.2ポイントの向上を記録した。
• MHMLAは、FCE、CoNLL14-{1,2}、JFLEGにおいて、それぞれ2.18、1.29、0.81、1.32ポイントのF₀.₅スコアでBERT-baseを上回った。
• 12ヘッドのモデルはCoNLL14およびJFLEGで最高のF₀.₅スコアを達成したが、FCEでは3ヘッドが最適であった。これはヘッド数が層への注目分布に影響を与えることを示している。
• 可視化結果から、8または12ヘッドを使用した場合、MHMLAは全層にわたって均等に注目しており、広範な情報利用が確認された。
• 平均化ベースライン（AvgL）はMHMLAに劣っており、学習可能なアテンションが固定平均化よりも効果的であることを実証した。
• アテンションの可視化により、特にヘッド数が多い場合、MHMLAが複数の層に適切に注目し、バランスの取れた層利用を実現していることが確認された。

(b) MHMLA.