[論文レビュー] Automatic coding of students' writing via Contrastive Representation Learning in the Wasserstein space

Ruijie Jiang, Julia Gouvea+3 more|arXiv (Cornell University)|Nov 26, 2020

Topic Modeling参考文献 33被引用数 5

ひとこと要約

本論文は、学生の生物学実験レポートの議論の洗練度を自動的にスコア化することを目的とした、ワサーベルン空間における対照的表現学習フレームワークを提案する。biLSTMとCNNエンコーダーを組み合わせた対照的学習を用いることで、QWK = 0.645のスコアを達成し、人間の評価者間信頼性（QWK = 0.839）に近づいた。自然言語処理を用いた質的学習科学研究のスケーラビリティに大きな可能性を示している。

ABSTRACT

Qualitative analysis of verbal data is of central importance in the learning sciences. It is labor-intensive and time-consuming, however, which limits the amount of data researchers can include in studies. This work is a step towards building a statistical machine learning (ML) method for achieving an automated support for qualitative analyses of students' writing, here specifically in score laboratory reports in introductory biology for sophistication of argumentation and reasoning. We start with a set of lab reports from an undergraduate biology course, scored by a four-level scheme that considers the complexity of argument structure, the scope of evidence, and the care and nuance of conclusions. Using this set of labeled data, we show that a popular natural language modeling processing pipeline, namely vector representation of words, a.k.a word embeddings, followed by Long Short Term Memory (LSTM) model for capturing language generation as a state-space model, is able to quantitatively capture the scoring, with a high Quadratic Weighted Kappa (QWK) prediction score, when trained in via a novel contrastive learning set-up. We show that the ML algorithm approached the inter-rater reliability of human analysis. Ultimately, we conclude, that machine learning (ML) for natural language processing (NLP) holds promise for assisting learning sciences researchers in conducting qualitative studies at much larger scales than is currently possible.

研究の動機と目的

• 教育現場における学生の文章の質的コーディングを自動化する機械学習手法を開発し、人的なコーディング作業に依存しないようにすること。
• キーワードマッチングをはるかに超えた文脈的理解を要する、学生の実験レポートにおける議論の洗練度を評価する課題に対処すること。
• ワサーベルン空間における対照的表現学習が、小さな、繊細な特徴を持つ文章評価データセットにおいてモデルの性能を向上させられるかどうかを評価すること。
• モデルの予測結果が人間のコンSENSUSと一致するかどうか、特に曖昧または境界に近いケースを再評価の対象にできるかどうかを評価すること。

提案手法

• 本手法は、ラベル付きの実験レポートから意味的なテキスト表現を学ぶために、ワサーベルン空間における対照的学習設定を採用する。
• 単語埋め込みを用いてテキストを符号化し、その後、biLSTMまたはCNNアーキテクチャをシーケンスエンコーダーとして用い、文脈的および構造的特徴を捉える。
• 類似したサンプル（同じスコア）を埋め込み空間で近づけ、類似しないサンプル（異なるスコア）を遠ざけるように、対照的損失関数を用いてモデルを訓練する。
• 予測は、学習済み表現上でのk-近傍法（KNN）を用いて行い、エンドツーエンドのファインチューニングを回避する。
• 本フレームワークは特徴に依存しない設計となっており、手動による特徴工学は不要であり、小さなデータセットに対しても効果的である。

実験結果

リサーチクエスチョン

• RQ1 ワサーベルン空間における対照的表現学習は、学生の実験レポートにおける議論の質の繊細な差を効果的に捉えることができるか？
• RQ2 本手法は、c-rater-MLのような既存のNLPモデルと比較して、議論の洗練度のスコアリングにおいて優れているか？
• RQ3 機械学習の予測結果は、人間のコンセンサスとどの程度一致するか。特に、境界付近または低スコアのケースにおいてはいかがなっているか？
• RQ4 モデルは、人間のコーディングにおいて一貫性がなかったり曖昧なケースを特定でき、人間による再レビューの対象にできるか？

主な発見

• CoReL-W+CNNモデルは最高のQWKスコア0.645を達成し、c-rater-MLを含むベースラインモデル（QWK = 0.0）を上回った。
• biLSTMおよびCoReL-W+biLSTMモデルは、それぞれQWKスコア0.61および0.628を達成し、人間のコーダーとの中程度から中程度以上の中間一致を示した。
• モデルは特にレベル1のレポートの予測に困難を示しており、これはクラスの不均衡（146件中12件がレベル1とコーディングされた）が原因であると推測される。
• 再コーディングの結果、MLの予測と元の人のスコアが食い違っていた9件のうち4件がMLの予測に近づけた。これは、MLが曖昧または一貫性のないケースを特定できることを示唆している。
• 再コーディングの結果、人間コーダー間のQWKは0.701に達した。これは、サンプルが困難であることを示しており、それでもモデルの性能は安定していた。
• 結果から、提案手法は最小限の特徴工学で、大規模な質的研究を支援できる可能性を示している。