[論文レビュー] "Sharks are not the threat humans are": Argument Component Segmentation in School Student Essays

Tariq Alhindi, Debanjan Ghosh|arXiv (Cornell University)|Mar 8, 2021

Topic Modeling参考文献 55被引用数 6

ひとこと要約

本稿では、従来のパイプライン分割を回避するトークンレベル分類アプローチを提案し、中学校の生徒が書いたエッセイにおける主張と前提を特定する。マルチタスク BERT モデルを用い、トークンと文の分類を同時に実行することで、特徴ベースの手法に比べて 7.5% の精度向上を達成。これは、生徒の文章に一般的な複雑でつながった文や、複数の主張を含む文において顕著な性能向上を示している。

ABSTRACT

Argument mining is often addressed by a pipeline method where segmentation of text into argumentative units is conducted first and proceeded by an argument component identification task. In this research, we apply a token-level classification to identify claim and premise tokens from a new corpus of argumentative essays written by middle school students. To this end, we compare a variety of state-of-the-art models such as discrete features and deep learning architectures (e.g., BiLSTM networks and BERT-based architectures) to identify the argument components. We demonstrate that a BERT-based multi-task learning architecture (i.e., token and sentence level classification) adaptively pretrained on a relevant unlabeled dataset obtains the best results

研究の動機と目的

• 中学校の生徒が書いたエッセイにおける議論的要素を特定する課題に取り組む。これは、つながった文や、1文に複数の主張が含まれる、根拠のない主張を含むことが一般的である。
• パイプライン手法の限界を克服するため、議論の分割と要素分類を1つのトークンレベル分類タスクに統合する。
• 離散的特徴、BiLSTM、BERTベースのモデルが、生徒の文章における主張と前提を特定するタスクでどのように機能するかを評価する。
• 文レベルの教師信号を用いたマルチタスク学習が、複雑で標準的でない文章におけるトークンレベル分類の性能をどの程度向上させるかを調査する。
• 今後の教育的議論マイニング研究のため、145編の中学校の議論的エッセイで構成される新しいアノテート済みコーパスを公開する。

提案手法

• 主張（B-Claim、I-Claim）と前提（B-Premise、I-Premise）を BIO 表記でラベル付けるトークンレベルのシーケンス分類フレームワーク。
• 3つのモデリングアプローチの比較：手作業で作成した特徴を用いた CRF、BiLSTM、および微調整済み・マルチタスク変種を含む BERT ベースのモデル。
• マルチタスク学習の目的関数を実装。モデルは同時にトークンレベルの議論的要素と、文レベルの議論の有無（2値分類）を予測する。
• 訓練中にメインのトークン分類タスクと補助の文分類タスクのバランスを取るために、不確実性に基づく損失重み付けを用いる。
• アノテート済みエッセイコーパスでの微調整の前に、関連する未ラベル付きデータセット上で BERT モデルを適応的プリトレーニングする。
• つながった文、1文に複数の主張が含まれる文、および 'though' や 'because' のような話法的マーカーを焦点とした、失敗事例の定性的分析。

実験結果

リサーチクエスチョン

• RQ1 トークンと文の分類を同時に実行するアプローチが、中学校の生徒のエッセイにおける議論的要素の特定において、従来のパイプライン手法を上回る性能を示せるか？
• RQ2 離散的特徴、BiLSTM、BERT といった異なるアーキテクチャは、生徒の文章における議論的要素分離タスクでどの程度の性能を示すか？
• RQ3 文レベルの教師信号を用いたマルチタスク学習は、複雑で標準的でない文章における主張と前提の特定をどの程度向上させるか？
• RQ4 主な失敗モードは何か。特に、つながった文や1文に複数の主張が含まれる場合のモデルの挙動は？
• RQ5 'though' や 'because' のような話法的マーカーは、モデルの予測にどのように影響するか。また、モデルはこれらのマーカーを主張の境界として正しく識別できるか？

主な発見

• マルチタスク BERT モデルが最も高い性能を示し、最も優れた特徴ベースの CRF モデルに比べて、7.5% の絶対的な精度向上を達成した。
• マルチタスクモデルは、単一タスクモデルが見逃した主張も正しく特定できた。例えば、'many more negative effects that come with social media…' という複雑な文における主張を正しく検出していた。
• マルチタスクモデルは、非議論的文（例：'internet’s social networks help teens find communities'）や意見表明を、正しく非主張として分類することで、誤検出を減らした。
• 複数の主張を含むつながった文では、モデルが困難を示し、複数の主張を1つの主張に統合するか、コロンの後に続く 'each' のような語で誤って主張を開始することが多かった。
• モデルは 'though' や 'because' のような話法的マーカーを、しばしば主張の開始点として誤って分類しており、これらのマーカーを主張の境界として正しく扱えないことが明らかになった。
• 分析から、コンマの直後に名詞が続くと主張を過剰に予測する傾向がある一方で、'only' のような副詞がコンマの直後に続くと正しく主張を特定していることが判明。これは、文法的手がかりの処理が一貫していないことを示している。