[論文レビュー] Deep learning for sentence clustering in essay grading support

Li-Hsin Chang, Iiro Rastas+2 more|arXiv (Cornell University)|Apr 23, 2021

Topic Modeling参考文献 33被引用数 8

ひとこと要約

本稿では、フィンランド語の大学受験用エッセイにおける意味的に類似した主張をクラスタリングするために、ディープラーニングに基づく文埋め込み手法の使用を提案し、人的なエッセイ採点を支援することを目的としている。TF-IDF、LASER、BERT、Sentence-BERTを2つの手動でアノテートされたフィンランド語エッセイデータセットで評価した結果、性能は設問の種別によって変動し、最先端のモデルであっても単純な語彙的手法に比べてわずかな向上にとどまることがわかった。

ABSTRACT

Essays as a form of assessment test student knowledge on a deeper level than short answer and multiple-choice questions. However, the manual evaluation of essays is time- and labor-consuming. Automatic clustering of essays, or their fragments, prior to manual evaluation presents a possible solution to reducing the effort required in the evaluation process. Such clustering presents numerous challenges due to the variability and ambiguity of natural language. In this paper, we introduce two datasets of undergraduate student essays in Finnish, manually annotated for salient arguments on the sentence level. Using these datasets, we evaluate several deep-learning embedding methods for their suitability to sentence clustering in support of essay grading. We find that the choice of the most suitable method depends on the nature of the exam question and the answers, with deep-learning methods being capable of, but not guaranteeing better performance over simpler methods based on lexical overlap.

研究の動機と目的

• 学生エッセイ全体にわたる意味的に類似した主張を自動的にクラスタリングすることで、エッセイ評価における人的な採点作業を軽減すること。
• 主張の言い換えを特定する際、ディープラーニングベースの文埋め込み手法が、TF-IDFのような従来の語彙的手法を上回るかどうかを調査すること。
• 顕著な主張の特定を目的とした、文単位で手動アノテートされた2つの新しいフィンランド語エッセイデータセットを構築し、公開すること。
• エッセイ採点支援の文脈における文単位のクラスタリングに適した、TF-IDF、LASER、BERT、Sentence-BERTといったさまざまな埋め込みモデルの有効性を評価すること。
• クラスタリングの実用的応用、例えば、学生エッセイを基準回答や採点基準と照合することや、採点者がクラスタを手動で調整できるようにすることを検討すること。

提案手法

• 2つの異なる試験問題について、フィンランド語の大学受験エッセイ2データセットを収集し、文単位で顕著な主張をアノテートした。
• 複数の埋め込み手法を適用：TF-IDF（逆頻度付きbag-of-words）、LASER（多言語文埋め込みエンコーダー）、BERT、Sentence-BERT（意味的類似性に最適化して微調整済み）。
• 文の埋め込み間のコサイン類似度を用いて意味的関連性を測定し、階層的クラスタリングなどのクラスタリングアルゴリズムでクラスタを形成した。
• アノテート済みの主張ラベルを用いて、調整済みランダムインデックス（ARI）やF1スコアといった標準的な指標でクラスタリング性能を評価した。
• このタスクを情報検索（クエリ文と類似する文をマッチング）と非教師ありクラスタリング（意味的に同等の文をグループ化）の両方として扱った。
• 異なる種類の試験問題や主張構造におけるモデル性能を比較するためのアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングベースの文埋め込みは、異なる表現で書かれた意味的に同等の主張を、学生エッセイ内で効果的にクラスタリングできるか？
• RQ2 エッセイ内の主張類似性のクラスタリング性能において、最先端のモデル（Sentence-BERT や BERT）は、TF-IDF などの単純な語彙的手法を上回るのか？
• RQ3 埋め込みモデルの性能は、試験問題の性質や学生の回答構造に依存するのか？
• RQ4 語彙的オーバーラップ手法は、神経的埋め込み手法に比べて、言い換え主張を捉える際に優れているか、それとも劣っているか？
• RQ5 得られたクラスタは、基準回答や採点基準との整合性を特定するなど、人的な採点者にとって実用的に利用可能か？

主な発見

• どの深層学習手法も一貫して他の手法を上回るとは限らず、最良のモデルは特定の試験問題や主張構造に依存して変化した。
• 最も優れた深層学習手法（Sentence-BERT）とTF-IDFベースラインとの性能差は比較的小さく、この文脈では複雑なモデルによる向上が限定的であることを示唆している。
• Sentence-BERTは両データセットの平均F1スコアで最高を記録したが、TF-IDFとの差はわずかで、常に統計的に有意ではなかった。
• クラスタリングの品質は、個々の文内の主張の整合性と明確さに強く依存しており、複数の主張を含む文はアノテートおよびクラスタリングの精度を損なう要因となった。
• 断片的または文脈依存的な主張を含むエッセイでは、意味が文単位では完全に表現されないため、クラスタリング性能が低かった。
• 結果から、ディープラーニングによる埋め込みは意味的類似性を捉えることは可能だが、特定分野や文脈に敏感な文章では、単純な語彙的手法に劣らない可能性があることが示唆された。