[論文レビュー] Survey on Automated Short Answer Grading with Deep Learning: from Word Embeddings to Transformers

Stefan Haller, Adina Aldea+2 more|arXiv (Cornell University)|Mar 11, 2022

Topic Modeling被引用数 29

ひとこと要約

この調査は自動短答評価（ASAG）に対する最近の深層学習アプローチを分析し、手工業的特徴と深層表現（特にトランスフォーマー）を組み合わせることが最良の結果を生むことを示し、ベンチマークデータセットと今後の課題を概説する。

ABSTRACT

Automated short answer grading (ASAG) has gained attention in education as a means to scale educational tasks to the growing number of students. Recent progress in Natural Language Processing and Machine Learning has largely influenced the field of ASAG, of which we survey the recent research advancements. We complement previous surveys by providing a comprehensive analysis of recently published methods that deploy deep learning approaches. In particular, we focus our analysis on the transition from hand engineered features to representation learning approaches, which learn representative features for the task at hand automatically from large corpora of data. We structure our analysis of deep learning methods along three categories: word embeddings, sequential models, and attention-based methods. Deep learning impacted ASAG differently than other fields of NLP, as we noticed that the learned representations alone do not contribute to achieve the best results, but they rather show to work in a complementary way with hand-engineered features. The best performance are indeed achieved by methods that combine the carefully hand-engineered features with the power of the semantic descriptions provided by the latest models, like transformers architectures. We identify challenges and provide an outlook on research direction that can be addressed in the future

研究の動機と目的

• 深層学習が手工業的特徴と比較して自動短答評価をどのように再形成するかを評価する。
• 表現学習の段階別にASAG手法を分類する：語彙埋め込み、系列モデル、注意機構ベースのモデル。
• 深層学習をASAGに用いる際の手工業的特徴の影響と役割を評価する。
• ドメインや言語を越えたベンチマークデータセットと一般化の課題を特定する。
• 深層学習を用いたASAGの今後の研究方向性について指針を提供する。

提案手法

• テキスト表現に基づくASAG手法の分類（手工業的特徴、語彙埋め込み、系列モデル、注意機構ベースのモデル）を提供する。
• 最近の深層学習手法に焦点を当てた半体系的な文献調査を実施する。
• ベンチマークデータセット（SciEntsBank、Beetle、Texas2011、ASAP-SAS）と評価プロトコルを分析する。
• 手工業的特徴を用いた古典的機械学習と深層学習アプローチおよびそれらの組み合わせを比較する。
• アーキテクチャの傾向（埋め込み、RNN/LSTM、トランスフォーマー）とASAG性能への影響を論じる。
• クロス言語・クロスドメインの一般化課題と今後の方向性を強調する。

実験結果

リサーチクエスチョン

• RQ1 深層学習表現はASAGの性能で手工業的特徴とどう比較されるか？
• RQ2 ASAGにおける系列モデルと注意機構ベースのモデルの付加価値は何か？
• RQ3 伝統的な特徴と組み合わせた場合、トランスフォーマーベースのモデルはASAGをどの程度改善するか？
• RQ4 ドメインと言語を越えた一般化のための現在のASAGベンチマークの限界は何か？
• RQ5 ASAGのクロス言語・クロスドメイン一般化に対処する将来の研究方向は何か？

主な発見

• 深層学習手法がASAGをますます推進しており、表現学習が改善の中核となっている。
• 表現の学習だけでは、ASAGシステムにおいて手工業的特徴を置換するのではなく補完することが多い。
• 手工業的特徴と現代モデルからの意味表現を組み合わせると観測される最良の性能を得る。
• 使用されたベンチマークデータセットはSciEntsBank、Beetle、Texas2011、ASAP-SASを含み、多様な評価シナリオを提供する。
• 自然言語処理と深層学習（特にトランスフォーマー）の進展はASAGを強化する意味的に豊かな表現を提供するが、クロス言語・クロスドメインの一般化は依然として課題である。