[論文レビュー] Improving Classification through Weak Supervision in Context-specific Conversational Agent Development for Teacher Education

Debajyoti Datta, Maria Phillips+5 more|arXiv (Cornell University)|Oct 23, 2020

Topic Modeling参考文献 33被引用数 8

ひとこと要約

本論文は、教員教育における文脈特化型対話型エージェントの開発におけるラベル付け作業を軽減するため、マルチタスク弱教師あり学習およびアクティブラーニングの枠組みを提案する。熟練したアノテーターを確率的ラベル関数を用いて活用し、反復的に不確実な例を特定して精練することで、16名のアノテーターがたった1,300例のラベル付けを行うだけで95%の精度を達成した。これはメジャリティ投票を上回り、時間的・人的コストを顕著に削減するとともに、教育分野向け自然言語処理タスクの分類性能を向上させた。

ABSTRACT

Machine learning techniques applied to the Natural Language Processing (NLP) component of conversational agent development show promising results for improved accuracy and quality of feedback that a conversational agent can provide. The effort required to develop an educational scenario specific conversational agent is time consuming as it requires domain experts to label and annotate noisy data sources such as classroom videos. Previous approaches to modeling annotations have relied on labeling thousands of examples and calculating inter-annotator agreement and majority votes in order to model the necessary scenarios. This method, while proven successful, ignores individual annotator strengths in labeling a data point and under-utilizes examples that do not have a majority vote for labeling. We propose using a multi-task weak supervision method combined with active learning to address these concerns. This approach requires less labeling than traditional methods and shows significant improvements in precision, efficiency, and time-requirements than the majority vote method (Ratner 2019). We demonstrate the validity of this method on the Google Jigsaw data set and then propose a scenario to apply this method using the Instructional Quality Assessment(IQA) to define the categories for labeling. We propose using probabilistic modeling of annotator labeling to generate active learning examples to further label the data. Active learning is able to iteratively improve the training performance and accuracy of the original classification model. This approach combines state-of-the art labeling techniques of weak supervision and active learning to optimize results in the educational domain and could be further used to lessen the data requirements for expanded scenarios within the education domain through transfer learning.

研究の動機と目的

• 教員教育分野における大規模な教育的対話型エージェントデータのラベル付けにかかる時間とコストを削減すること。
• 個々のアノテーターの強みをモデル化し、矛盾するラベルを処理することで、メジャリティ投票を上回る分類精度を向上させること。
• 不確実性や曖昧さの高い例を優先してラベル付けするアクティブラーニングを用いて、熟練者のラベル付け作業を最小限に抑えること。
• 弱教師あり学習とアクティブラーニングを活用し、スケーラブルで移譲可能かつ効率的な教育分野向け文脈特化型対話型エージェントの開発を可能にすること。
• 数学教育分野におけるIQAベースのラベル付けタスクにおいて、このフレームワークを検証し、効率性と精度の向上を示すこと。

提案手法

• 熟練者知識とヒューリスティクスに基づくラベル関数を用いて、ノイズを含んではいるがスケーラブルな学習データを生成するマルチタスク弱教師あり学習を採用した。
• アノテーター行動の確率的モデリングを用いてラベルの信頼性を推定し、ラベルの矛盾を解消することで、反復的なプロセスの中でラベル品質を向上させた。
• アノテーター間の合意が得られない例を特定・優先するための、矛盾に基づくアクティブラーニング戦略を適用した。
• 弱教師あり学習で得たデータを用いてBERTベースの分類モデルを学習し、アクティブに選択された例を微調整することで性能を向上させた。
• アノテーター数と例の数がモデル精度に与える影響を評価するために、Google Jigsawデータセットを用いたアブレーションスタディを実施した。
• 事前学習済みモデルを再利用することで、新しい教育的シナリオにおけるデータ要件を削減するため、トランスファーラーニングを統合した。

実験結果

リサーチクエスチョン

• RQ1 弱教師あり学習とアクティブラーニングは、教育的対話型エージェント向け分類モデルを訓練するにあたり、必要なラベル付け例の数を削減できるか？
• RQ2 アノテーター数とラベル付け例の数の両方が、モデル精度に与える影響を比較するとどうなるか？
• RQ3 矛盾に基づくアクティブラーニングは、メジャリティ投票と比較して、曖昧または低信頼度の例の性能向上に有効か？
• RQ4 ラベル関数と確率的モデリングは、アノテーター間的一致性とラベル品質をどの程度向上させられるか？
• RQ5 このフレームワークは、最小限の再設定で他の教育的トレーニングシナリオへ一般化・適用可能か？

主な発見

• 16名のアノテーターがたった1,300例のラベル付けを行うだけで、モデルは95%の精度を達成した。これは8名のアノテーターが13,000例をラベル付けした場合を上回った。
• アノテーター間一致度は、最初のラウンドで49.4（Cohen’s Kappa）から2回目のラウンドで79.4に向上し、反復的なラベル付けが有効であることが示された。
• アクティブラーニング戦略は、矛盾を示す例に対して62.85%の精度を達成し、曖昧なケースの解消に有効であることが確認された。
• ラベル関数（LFs）は高い精度を示し、特にLF3はテストセットで82.0%の精度を記録した。これは弱教師あり学習におけるその有用性を裏付けた。
• クラスごとの精度は、69.5%（Probing or Exploring）から81.5%（Procedural）まで変動し、分類カテゴリ全体で高い性能を示した。
• 不確実性の高い例を優先することで、熟練者のラベル付け作業時間を削減し、ラベル付けプロセスの効率性とコスト効率を向上させた。