[論文レビュー] Self-training with Few-shot Rationalization: Teacher Explanations Aid Student in Few-shot NLU

Meghana Moorthy Bhat, Alessandro Sordoni+1 more|arXiv (Cornell University)|Sep 17, 2021

Intelligent Tutoring Systems and Adaptive Learning被引用数 5

ひとこと要約

本論文は、限られたラベル付きデータを用いてタスクラベルの予測と根拠の生成を同時に学習することで、少データ自然言語理解を向上させるマルチタスク自己学習フレームワークを提案する。教師モデルが生成する疑似ラベルに信頼度に基づく再重み付けを施し、根拠の十分性、完全性、簡潔性を強制する損失関数を組み合わせることで、リソースが限られた環境下でもモデル性能と解釈可能性が顕著に向上する。

ABSTRACT

While pre-trained language models have obtained state-of-the-art performance for several natural language understanding tasks, they are quite opaque in terms of their decision-making process. While some recent works focus on rationalizing neural predictions by highlighting salient concepts in the text as justifications or rationales, they rely on thousands of labeled training examples for both task labels as well as an-notated rationales for every instance. Such extensive large-scale annotations are infeasible to obtain for many tasks. To this end, we develop a multi-task teacher-student framework based on self-training language models with limited task-specific labels and rationales, and judicious sample selection to learn from informative pseudo-labeled examples1. We study several characteristics of what constitutes a good rationale and demonstrate that the neural model performance can be significantly improved by making it aware of its rationalized predictions, particularly in low-resource settings. Extensive experiments in several bench-mark datasets demonstrate the effectiveness of our approach.

研究の動機と目的

• 大規模なアノテート済み根拠を取得することが現実的でない低リソース自然言語理解の課題に対処すること。
• 最小限の教師付き情報でタスクラベルと根拠予測を共同学習させることで、モデル性能と解釈可能性を向上させること。
• 教師モデルが生成する疑似ラベル付き根拠を活用することで、学生モデルの一般化性能を向上させる自己学習フレームワークを開発すること。
• 根拠の質を保証するため、十分性、完全性、一貫性といった重要な特徴を、特化した損失関数により強制すること。

提案手法

• 学生モデルが入力テキストからタスクラベルを同時に予測し、根拠を抽出するマルチタスク学習設定を採用する。
• 初期のラベル付きサンプルの小さな集合で教師モデルを学習し、各自己学習イテレーションにおいて未ラベルデータの疑似ラベルを生成する。
• サンプルおよびトークンレベルで、情報量の多い疑似ラベル例を強調し、ノイズの多い例を軽減するため、信頼度に基づく再重み付けを適用する。
• 根拠の質を強化するための3つの損失成分を導入する：十分性（根拠と全入力の両方に対する学生モデルの予測が一致すること）、完全性（根拠をマスクした際のエントロピーを最大化すること）、スパarsity（簡潔な根拠の生成を促進すること）。
• 根拠モジュールの検証損失に基づいて早期停止を実行し、ノイズの多い疑似ラベルによる誤り伝搬を防ぐ。
• 各イテレーションで教師モデルをラベル付きデータで微調整することで、分布のずれを防ぎ、元のタスクとの整合性を維持する。

実験結果

リサーチクエスチョン

• RQ1 少データの根拠抽出を伴う自己学習は、低リソース環境下での下流NLU性能を向上させることができるか？
• RQ2 高品質な根拠を特徴づける要因は何か？ そして、それらの特徴をニューラルモデルに効果的に組み込むにはどうすればよいか？
• RQ3 タスク予測と根拠抽出を共同で学習するマルチタスク学習アプローチは、分離したアプローチと比較してどのように異なるか？
• RQ4 疑似ラベル付きサンプルに対する信頼度ベースの再重み付けは、モデルのロバスト性と性能をどの程度向上させるか？
• RQ5 十分性、完全性、スパarsityの各損失成分は、根拠生成の質と安定性にどのように影響を与えるか？

主な発見

• 提案されたマルチタスク自己学習フレームワークは、ERASERベンチマークの5つのベンチマークデータセットにおいて、下流タスクの正確性と根拠の質の両方を顕著に向上させた。
• 疑似ラベル付きサンプルに対する信頼度ベースの再重み付けは、特にMoviesデータセットにおいて性能向上をもたらしたが、根拠カバレッジに応じて効果の大きさが異なる。
• 完全性損失は、スパarsity損失によって引き起こされる不安定性を効果的に緩和し、学習収束性と根拠の一貫性を向上させた。
• モデルは12〜15回の自己学習イテレーション内で収束するが、約10回目以降に誤り伝搬の影響で根拠抽出の質が低下するため、早期停止が不可欠である。
• アブレーションスタディの結果、十分性、完全性、スパarsityの3つの損失成分が、簡潔で正確かつ文脈に適切な根拠を生成するために不可欠であることが確認された。
• 本フレームワークは、少データ設定において最先端の手法を上回り、モデルが自らの根拠を認識することで、高リソース環境下でも性能向上が達成可能であることを示した。