[論文レビュー] Learning to Scaffold: Optimizing Model Explanations for Teaching

Patrick Fernandes, Marcos Treviso+3 more|arXiv (Cornell University)|Apr 22, 2022

Explainable Artificial Intelligence (XAI)被引用数 11

ひとこと要約

本稿では、教師モデルの予測を模倣する学生モデルの能力を向上させるために、説明の質を最適化するメタラーニングフレームワークであるSMaT（Scaffold-Maximizing Training）を提案する。説明の質を学生の模倣可能性の関数として扱い、NLPおよびビジョンタスクにおいて、静的または勾配ベースのベースラインを著しく上回る模倣精度と妥当性を達成する、より効果的で人間の理解に整合した説明を生成するアテンションベースの説明モデルを訓練する。

ABSTRACT

Modern machine learning models are opaque, and as a result there is a burgeoning academic subfield on methods that explain these models' behavior. However, what is the precise goal of providing such explanations, and how can we demonstrate that explanations achieve this goal? Some research argues that explanations should help teach a student (either human or machine) to simulate the model being explained, and that the quality of explanations can be measured by the simulation accuracy of students on unexplained examples. In this work, leveraging meta-learning techniques, we extend this idea to improve the quality of the explanations themselves, specifically by optimizing explanations such that student models more effectively learn to simulate the original model. We train models on three natural language processing and computer vision tasks, and find that students trained with explanations extracted with our framework are able to simulate the teacher significantly more effectively than ones produced with previous methods. Through human annotations and a user study, we further find that these learned explanations more closely align with how humans would explain the required decisions in these tasks. Our code is available at https://github.com/coderpat/learning-scaffold

研究の動機と目的

• 定性的な望ましい特性を超えて、説明の評価と改善のための原理的で測定可能な基準が不足している問題に対処すること。
• 説明の質を、学生モデルが説明のみを用いて教師の行動を模倣できる能力として形式化し、教育的スキャフォールディングに整合させること。
• 既存の手法を評価するのではなく、学生学習のための説明を直接最適化するフレームワークを開発すること。
• 意思決定における人間の推論パターンと整合させることで、説明の妥当性を向上させること。
• 人間がアノテートした根拠を必要とせず、模倣可能性を解釈可能性の代理指標として用いることで、説明モデルのエンドツーエンド訓練を可能にすること。

提案手法

• 説明最適化問題を二段階最適化として形式化する：説明モデルは、教師モデルの模倣性能に基づいて更新される。
• 高階微分を用いて学生の訓練プロセスを逆伝播可能にし、説明モデルのエンドツーエンド最適化を可能にする。
• 任意のアテンションベースのモデル（例：トランスフォーマー）に適応可能なパラメータ化されたアテンションベースの説明モジュールを提案する。
• 学生モデルを、入力と説明を用いて教師の出力を予測するように訓練し、説明モデルのパラメータをテスト時の模倣精度を最大化するように更新する。
• 事前学習済みトランスフォーマーモデルを用いて、テキスト分類、画像分類、多言語テキスト回帰の多様なタスクにフレームワークを統合する。
• 自動的な模倣可能性メトリクスと人間がアノテートした妥当性評価（画像分類に関する人間研究を含む）を用いて、説明の質を評価する。

実験結果

リサーチクエスチョン

• RQ1 学生モデルが教師モデルの予測をより正確に模倣できるように、説明を最適化できるか？
• RQ2 本フレームワークで生成された説明は、従来の手法と比較して、人間の推論パターンとより整合しているか？
• RQ3 アーキテクチャ的制約なしに、多様なモダリティおよびタスクにSMaTフレームワークを適用できるか？
• RQ4 模倣可能性を用いたエンドツーエンド訓練により、勾配ベースや静的アテンション手法と比較して、より忠実で自明でない説明が得られるか？
• RQ5 勾配ベースやレゾナライゼーション手法のような非アテンション型の説明モデルに対しても、本フレームワークを拡張して最適化できるか？

主な発見

• SMaTが生成する説明を用いて訓練された学生モデルは、静的アテンションや勾配ベースの説明を用いたモデルと比較して、未知の例において顕著に高い模倣精度を達成した。
• 人間がアノテートした評価では、SMaTが生成する説明は、テキスト分類および回帰タスクにおいて、人間の根拠に近い妥当性を示した。
• 画像分類に関するユーザースタディでは、参加者がSMaTが生成する説明を、ベースライン手法よりも直感的で人間の意思決定と整合性があると評価した。
• フレームワークは、以前の模倣可能性最適化説明モデルが抱えていた自明な説明プロトコル（例：標 punctuations やストップワードにのみ注目する）を回避した。
• パラメータ化されたアテンション説明モデルは、トランスフォーマーにおける意味のあるアテンションヘッドを発見し、標準的なアテンション可視化を超えた解釈可能性を示した。
• SMaTはタスクに跨って一般化し、アーキテクチャの変更なしにNLPおよびコンピュータビジョンのベンチマークで模倣可能性を向上させた。