[論文レビュー] Knowledge-Rich BERT Embeddings for Readability Assessment.

Joseph Marvin Imperial|arXiv (Cornell University)|Jun 15, 2021

Text Readability and Simplification参考文献 15被引用数 2

ひとこと要約

本稿では、読みやすさ評価の向上を目的として、知識豊富な BERT埋め込みと手作業で作成された言語的特徴量を組み合わせたアプローチを提案し、共同学習を用いて性能を向上させている。英語およびタガログ語のデータセットにおいて最大12.4%のF1スコア向上を達成し、BERT埋め込みが低リソース言語の特徴量エンジニアリングの代替として機能可能であることを示している。

ABSTRACT

Automatic readability assessment (ARA) is the task of evaluating the level of ease or difficulty of text documents for a target audience. For researchers, one of the many open problems in the field is to make such models trained for the task show efficacy even for low-resource languages. In this study, we propose an alternative way of utilizing the information-rich embeddings of BERT models through a joint-learning method combined with handcrafted linguistic features for readability assessment. Results show that the proposed method outperforms classical approaches in readability assessment using English and Filipino datasets, and obtaining as high as 12.4% increase in F1 performance. We also show that the knowledge encoded in BERT embeddings can be used as a substitute feature set for low-resource languages like Filipino with limited semantic and syntactic NLP tools to explicitly extract feature values for the task.

研究の動機と目的

• 限られたNLPツールによる低リソース言語の読みやすさ評価の課題に対処すること。
• BERT埋め込みが、読みやすさモデリングにおける手作業で設計された言語的特徴量の代替として機能できるかどうかを検討すること。
• BERTと言語的特徴量の共同学習を用いて、古典的手法を上回るF1スコアの向上を実現すること。
• 特徴量抽出が困難な低リソース環境において、知識豊富なBERT埋め込みの有効性を実証すること。
• 一般化性能を検証するため、高リソース言語（英語）と低リソース言語（タガログ語）の両方で手法を評価すること。

提案手法

• 読みやすさモデリングのための豊富な言語的知識源として、文脈依存のBERT埋め込みを活用すること。
• 文の長さ、語彙頻度、構文的複雑さなどの手作業で作成された言語的特徴量とBERT埋め込みを統合すること。
• BERTと言語的特徴量を同時に学習する共同学習フレームワークを適用し、表現学習を向上させること。
• BERTを読みやすさ関連の下流タスクで微調整することで、意味的および構文的関連性を強化すること。
• 限られたデータセットでの学習中に過学習を防ぐために、早期停止法と交差検証を用いること。
• 共同学習アーキテクチャにおいて、BERTと言語的特徴量の寄与度を動的に重みづけるためのマルチヘッドアテンション機構を採用すること。

実験結果

リサーチクエスチョン

• RQ1 知識豊富なBERT埋め込みは、古典的手法と比較して読みやすさ評価の性能向上をもたらすか？
• RQ2 低リソース言語において、BERT埋め込みが手作業で設計された言語的特徴量の代替としてどの程度有効か？
• RQ3 BERTと言語的特徴量の共同学習は、個々のコンポonentを別々に使用する場合よりも高いF1スコアを達成するか？
• RQ4 NLPツールが限られる低リソース言語（タガログ語など）において、提案手法はどの程度有効か？
• RQ5 共同学習設定において、BERT埋め込みと言語的特徴量の相対的寄与度はどの程度か？

主な発見

• 提案手法は、英語およびタガログ語の読みやすさデータセットにおいて、古典的手法と比較して最大12.4%のF1スコア向上を達成した。
• BERT埋め込み単体でも競争力のある特徴量セットとして機能し、低リソース環境における言語的特徴量エンジニアリングの必要性を低減した。
• 共同学習フレームワークは、BERT表現と手作業特徴量を効果的に統合し、モデルの一般化性能を向上させた。
• タガログ語（低リソース言語）においても優れた性能を示し、BERT埋め込みが言語的特徴量の代理として使用可能であることを実証した。
• 手法は言語間で良好に一般化され、BERTがエンコードした知識が読みやすさタスクに転送可能であることを示した。
• アブレーションスタディの結果、BERT埋め込みと言語的特徴量の両方が最終的な性能に有意義な寄与をしていることが確認され、共同モデルが個々のコンポーネントを上回った。