[論文レビュー] EduBERT: Pretrained Deep Language Models for Learning Analytics

Benjamin Clavié, Kobi Gal|arXiv (Cornell University)|Dec 2, 2019

Topic Modeling参考文献 10被引用数 19

ひとこと要約

EduBERTは、さまざまなオンラインコースの学生フォーラムデータで微調整されたドメイン特化型BERTベースの言語モデルであり、学習分析を向上させるものである。教育分野における3つのテキスト分類タスクで最先端の性能を達成し、計算コストを低く抑えた蒸留バージョンも同等の結果を示しており、両モデルは研究利用のために公開されている。

ABSTRACT

The use of large pretrained neural networks to create contextualized word embeddings has drastically improved performance on several natural language processing (NLP) tasks. These computationally expensive models have begun to be applied to domain-specific NLP tasks such as re-hospitalization prediction from clinical notes. This paper demonstrates that using large pretrained models produces excellent results on common learning analytics tasks. Pre-training deep language models using student forum data from a wide array of online courses improves performance beyond the state of the art on three text classification tasks. We also show that a smaller, distilled version of our model produces the best results on two of the three tasks while limiting computational cost. We make both models available to the research community at large.

研究の動機と目的

• オンラインコースの学生フォーラム投稿を対象とした教育テキストデータに特化したディープ言語モデルの開発。
• ドメイン特化型事前学習を用いて、テキスト分類などの一般的な学習分析タスクのパフォーマンスを向上させること。
• 知識蒸留を活用して計算コストを低減しつつ、高いパフォーマンスを維持する小型で効率的なモデルバージョンを構築すること。
• 完全版および蒸留版の両モデルを公開し、再現性および教育的NLP分野におけるさらなる研究を支援すること。

提案手法

• 多数のオンラインコースの学生フォーラム投稿からなる大規模なデータセットを用いて、BERTベースのモデルを事前学習する。
• 学習分析における3つの異なるテキスト分類タスク（学生の反応分類、センチメント分析、トピック分類）に対して、事前学習済みモデルを微調整する。
• 完全版モデルを圧縮して、より小型で高速なバージョンにし、パフォーマンスを維持する知識蒸留を適用する。
• 事前学習段階でマスクされた言語モデルと次文予測の目的関数を用い、文脈に依存する単語表現を学習する。
• ホールドアウトされたテストセットを用いて、F1スコアや正答率などの標準指標でパフォーマンスを評価する。
• 完全版および蒸留版の両モデルをオープンライセンスのもとで公開し、コミュニティによる再利用と拡張を可能にする。

実験結果

リサーチクエスチョン

• RQ1 学生フォーラムデータで微調整された大規模事前学習言語モデルは、教育分野の学習分析テキスト分類タスクで、既存手法を上回る性能を示せるか？
• RQ2 教育的NLPモデルに知識蒸留を適用した場合、パフォーマンスと効率性にどのような影響を与えるか？
• RQ3 一般ドメインの事前学習と比較して、教育テキストに特化した事前学習が、下流タスクのパフォーマンスにどの程度向上効果をもたらすか？
• RQ4 小型で蒸留されたモデルバージョンは、顕著に低い計算リソース要件で競争力のある結果を達成できるか？

主な発見

• EduBERTは、教育分野における3つの学習分析テキスト分類タスクで最先端のパフォーマンスを達成し、F1スコアおよび正答率の面で先行研究を上回っている。
• EduBERTの蒸留バージョンは、3つのタスクのうち2つで最高の結果を達成しており、モデル圧縮がパフォーマンスを損なわないことを示している。
• 教育テキストに特化した事前学習により、一般ドメインの事前学習と比較して、教育的NLPタスクにおけるパフォーマンスが顕著に向上している。
• 完全版および蒸留版の両モデルが公開されており、教育的データサイエンス分野における広範な研究アクセスと再現可能性を可能にしている。