[論文レビュー] Using Large Language Models to Provide Explanatory Feedback to Human Tutors

Jionghao Lin, Danielle R. Thomas+5 more|arXiv (Cornell University)|Jun 27, 2023

Topic Modeling被引用数 7

ひとこと要約

本稿では、オンライントレーニングセッション中に人間のチューターにリアルタイムで説明付きフィードバックを提供するために、大規模言語モデル（LLMs）と名前付きエンティティ認識（NER）を組み合わせることを提案する。チューターの反応を「努力に基づく」（例：努力の継続を称賛）または「結果に基づく」（例：正しい答えを称賛）称賛に分類することで、的を射たテンプレート形式のフィードバックを生成する。効果的な称賛を識別する際のF1スコアは0.811を達成し、文脈に配慮した自動フィードバックによってチューターのトレーニングを向上させる強力な可能性を示している。

ABSTRACT

Research demonstrates learners engaging in the process of producing explanations to support their reasoning, can have a positive impact on learning. However, providing learners real-time explanatory feedback often presents challenges related to classification accuracy, particularly in domain-specific environments, containing situationally complex and nuanced responses. We present two approaches for supplying tutors real-time feedback within an online lesson on how to give students effective praise. This work-in-progress demonstrates considerable accuracy in binary classification for corrective feedback of effective, or effort-based (F1 score = 0.811), and ineffective, or outcome-based (F1 score = 0.350), praise responses. More notably, we introduce progress towards an enhanced approach of providing explanatory feedback using large language model-facilitated named entity recognition, which can provide tutors feedback, not only while engaging in lessons, but can potentially suggest real-time tutor moves. Future work involves leveraging large language models for data augmentation to improve accuracy, while also developing an explanatory feedback interface.

研究の動機と目的

• オンライントレーニングセッション中に初心者チューターにリアルタイムで正確なフィードバックを提供するという課題に対処すること。
• プロセス中心や努力に基づく称賛戦略を支援する説明付きフィードバックを提供することで、チューターのトレーニングを改善すること。
• LLMsとNERを用いた自動フィードバック生成の活用を検討し、人的な評価に依存するのを減らすこと。
• 即時の、パーソナライズされたフィードバックを通じて、なぜある反応が効果的または非効果的であるかを説明することで、チューターの学習を促進すること。
• 社会的・感情的および動機づけ支援技術の習得を目的とした非プロフェッショナルチューターのトレーニングに適したスケーラブルで自動化されたシステムの開発

提案手法

• チューターの反応に対して大規模言語モデル（LLMs）を用いて名前付きエンティティ認識（NER）を実行し、努力に基づく、結果に基づく、人物に基づく称賛などの主な称賛タイプを特定する。
• 認識された名前付きエンティティ（NEs）を事前に定義された説明付きフィードバックメッセージにマッピングするテンプレートベースのフィードバックシステムを採用する。
• NERタグ付きの反応を用いて、チューターの反応を二値分類（効果的：努力に基づく称賛／非効果的：結果に基づく称賛）に分類する。
• 「[努力の内容] と述べることは、プロセス中心の称賛の良い例です」といったフィードバックを生成し、チューターがより良い反応を示せるように導く。
• 予測の信頼度にしきい値を適用し、モデルの信頼度が低い場合には「おそらく」などの曇った表現（hedged feedback）を用いて、システムの信頼性を維持する。
• 低リソース環境での性能向上を図るため、同義語置換やGPTが生成したトレーニング例を含むデータ拡張技術の検討

実験結果

リサーチクエスチョン

• RQ1 RQ1: 矯正フィードバックを提供するための修正可能な反応として、チューターの反応を効果的か非効果的かに分類する二値分類手法を適用可能か？
• RQ2 RQ2: LLMを介したNERは、チューター反応の重要な構成要素を特定することで、説明付きフィードバックをどのように向上させられるか？
• RQ3 RQ3: チューター反応データに一般的に見られる低リソースおよび不均衡なデータセットにおいて、NERの性能をどのように向上できるか？
• RQ4 RQ4: 「効果的な称賛の提供」を超えて、異なる指導レッスンに一般化可能なフィードバックシステムは構築可能か？

主な発見

• 本システムは、効果的（努力に基づく）称賛反応を識別する際、F1スコア0.811を達成し、望ましい指導行動を識別する上で優れた性能を示している。
• 一方で、非効果的（結果に基づく）称賛反応を識別する際のF1スコアは0.350にとどまり、望ましくない称賛タイプの検出に課題が残っていることが明らかになった。
• 部分的な正答と真陰性の予測が観察されたことから、フィードバックの文脈が洗練された場合、従来のF1スコアだけではモデルの実用的価値を十分に捉えきれない可能性がある。
• モデルの信頼度がシステムの信頼性にとって極めて重要であることが判明し、低信頼度予測には曇ったフィードバック表現を採用する設計が求められた。
• 低リソース環境におけるNER性能向上のため、LLMが生成した例と同義語置換を用いたデータ拡張の検討が進行中である。
• 今後の研究では、70％以上が「O」（エンティティなし）タグであるように、クラスの不均衡が顕著なNERタスクに対処するため、AUC最大化手法の検討を予定している。