[論文レビュー] Strategize Before Teaching: A Conversational Tutoring System with Pedagogy Self-Distillation

Lingzhi Wang, Mrinmaya Sachan+2 more|arXiv (Cornell University)|Feb 27, 2023

Intelligent Tutoring Systems and Adaptive Learning被引用数 2

ひとこと要約

本稿では、自己蒸留メカニズムを用いて戦略予測と応答生成を同時に最適化することで、戦略予測と応答品質を向上させる統合型対話型指導システムを提案する。実験の結果、生成前に戦略を予測することが応答性能を顕著に向上させることを示し、提案モデルは3つのベンチマークデータセットにおいて強力なベースラインを上回る性能を達成した。

ABSTRACT

Conversational tutoring systems (CTSs) aim to help students master educational material with natural language interaction in the form of a dialog. CTSs have become a key pillar in educational data mining research. A key challenge in CTSs is to engage the student in the conversation while exposing them to a diverse set of teaching strategies, akin to a human teacher, thereby, helping them learn in the process. Different from previous work that generates responses given the strategies as input, we propose to jointly predict teaching strategies and generate tutor responses accordingly, which fits a more realistic application scenario. We benchmark several competitive models on three dialog tutoring datasets and propose a unified framework that combines teaching response generation and pedagogical strategy prediction, where a self-distillation mechanism is adopted to guide the teaching strategy learning and facilitate tutor response generation. Our experiments and analyses shed light on how teaching strategies affect dialog tutoring.

研究の動機と目的

• より効果的で人間らしい指導を実現するため、多様な指導戦略を対話型指導システム（CTS）に統合する課題に対処すること。
• 指導戦略予測と応答生成を統合的に学習するフレームワークを構築し、より現実的な指導対話を可能にすること。
• 低リソースで不均衡な指導データセットにおける指導戦略予測の難易度を、応答に依存するソフトラベルを活用する自己蒸留メカニズムによって軽減すること。

提案手法

• 事前学習済み言語モデルを用いて、指導戦略予測とチューター応答生成を統合的に学習するフレームワークを提案する。
• 自己蒸留メカニズムを導入し、正解のチューター応答に基づいて予測された戦略から生成されるソフトラベルを学習の根拠とする。
• 向上した戦略予測結果を応答生成のガイドラインとして活用することで、一貫性と教育的関連性を向上させる。
• 戦略と応答のモデリングに共通の表現を有する二重エンコーダ・デコーダアーキテクチャを採用する。
• CIMA、TSCC、TalkMovesの3つの対話型指導データセットで微調整された事前学習モデル（BART、mBART）を活用する。
• 応答に依存する戦略予測から得られる知識を、戦略予測性能の向上に向け知識蒸留を適用する。

実験結果

リサーチクエスチョン

• RQ1 指導戦略予測と応答生成の共同学習が、対話型指導システムにおけるチューター応答の質に与える影響は何か？
• RQ2 自己蒸留は、低リソースで不均衡な指導データセットにおける指導戦略予測をどの程度改善するか？
• RQ3 正確な戦略予測は応答生成性能を顕著に向上させるか？また、誤った戦略がガイドラインとして使われた場合はどうなるか？
• RQ4 例えば、誘導、再述、終結といった異なる指導戦略は、チューター応答のスタイルと内容にどのような影響を与えるか？
• RQ5 応答に条件づけられた戦略予測から得られるソフトラベルの使用は、全体のシステム性能にどのような影響を与えるか？

主な発見

• 自己蒸留を適用した本稿のモデルは、3つの対話型指導データセットすべてで最先端の性能を達成し、戦略予測および応答生成の両面で強力なベースラインを上回った。
• 応答に依存するモデルから得られるソフトラベルを用いた戦略予測により、戦略の正確性が最大18.1ポイント向上した（例：mBARTではCIMAで63.3%から70.4%に向上）。
• ゴールデンな指導戦略を用いて応答生成をガイドすることで、すべてのモデルでBLEUとBERTScoreが向上し、教育的戦略が応答品質に肯定的な影響を与えることが裏付けられた。
• 応答のガイドなしで文脈からの戦略予測を行うと、性能が顕著に低下する—特に弱いモデルにおいて顕著で、戦略予測の向上が不可欠であることが示された。
• 自己蒸留を適用したモデルは、CIMAで12.1のBLEUスコア、TalkMovesで5.47のBLEUスコアを達成し、『Need TS Predict』設定において、最良のベースライン（mBART）をそれぞれ1.5点および2.5点上回った。
• 事例研究では、同じ入力文脈に対して異なる指導戦略を組み合わせると、チューター応答が著しく異なることが確認され、戦略がチューター行動を規定する上で極めて重要な役割を果たしていることが裏付けられた。