[論文レビュー] "Why Should I Trust Interactive Learners?" Explaining Interactive Queries of Classifiers to Users

Stefano Teso, Kristian Kersting|arXiv (Cornell University)|May 22, 2018

Machine Learning and Algorithms参考文献 35被引用数 7

ひとこと要約

本論文は、解釈可能でモデルに依存しない説明を通じて、ユーザーに対してクエリと予測の説明を行うことで、インタラクティブな機械学習モデルに対する信頼を高める、説明可能なインタラクティブ学習というフレームワークを提案する。caipi手法（LIMEに基づく局所的説明とユーザーの説明へのフィードバックを組み合わせたアクティブラーニングの拡張）を用い、制御実験およびユーザースタディを通じて、モデル性能の向上、説明品質の向上、ユーザーの信頼の増大を実証した。

ABSTRACT

Although interactive learning puts the user into the loop, the learner remains mostly a black box for the user. Understanding the reasons behind queries and predictions is important when assessing how the learner works and, in turn, trust. Consequently, we propose the novel framework of explanatory interactive learning: in each step, the learner explains its interactive query to the user, and she queries of any active classifier for visualizing explanations of the corresponding predictions. We demonstrate that this can boost the predictive and explanatory powers of and the trust into the learned model, using text (e.g. SVMs) and image classification (e.g. neural networks) experiments as well as a user study.

研究の動機と目的

• 意思決定プロセスが不透明であるため、インタラクティブな機械学習システムに対する信頼の欠如を是正すること。
• クエリと予測の説明が、インタラクティブな学習者に対するユーザーの信頼をどのように向上させるかを調査すること。
• 説明フィードバックをアクティブラーニングに統合するフレームワークを構築し、モデル性能と透明性を向上させること。
• 説明の修正がモデル学習およびユーザーの信頼感覚に与える影響を評価すること。

提案手法

• 学習者が各インタラクションステップで自身のクエリと予測をユーザーに説明する、説明可能なインタラクティブ学習と呼ばれる新規フレームワークを提案する。
• LIMEに基づく局所的説明とクエリインスタンスのユーザーからのフィードバックを組み合わせた、モデルおよび説明手法に依存しないcaipi手法を導入する。
• ユーザーが説明を修正できるようにし、ラベルの修正を超えた、モデル学習を導く新たなフィードバックチャネルを提供する。
• 説明の修正を学習プロセスに組み込むためのデータ拡張戦略を用い、モデルがユーザーの意図に適合するように改善する。
• 任意のブラックボックス分類器と、LIMEなどの任意の局所的説明手法と統合可能なモジュラー設計を採用する。
• 予測フィードバックと説明フィードバックの両方をサポートし、ユーザーがラベルだけでなくモデルの推論過程の修正も行えるようにする。

実験結果

リサーチクエスチョン

• RQ1 インタラクティブなクエリの説明は、機械学習モデルに対するユーザーの信頼をどのように向上させるか？
• RQ2 ラベルの修正に加え、説明へのフィードバックが、学習済みモデルの品質と正確性を向上させるか？
• RQ3 説明の修正を統合することで、アクティブラーニングにおける収束速度と一般化性能が向上するか？
• RQ4 説明の統合は、ユーザーのモデルの能力と信頼性に関する認識にどのように影響するか？

主な発見

• 説明の修正は説明の品質を顕著に向上させ、ベースラインモデルに修正がなければないほど、テストセットにおける説明品質が時間経過とともに着実に向上した。
• 説明の修正を施したモデルは、特にテキスト分類タスクにおける正しい意味的コンセプトの捉え込みにおいて、より優れた予測性能を示した。
• 画像分類タスクでは、説明の修正によって、交絡要因や曖昧なデータが存在する場合でも、正しいコンセプトをより速く学習した。
• ユーザースタディの結果、モデルの行動と透明性に応じて、クエリの説明が信頼を促進または阻害することが確認された。
• L1 SVMモデルは、説明の修正が提供された場合、ターゲットルールとの整合性が向上し、正しいコンセプトへの収束が速くなった。
• フレームワークにより、モデルの推論を可視化・変更可能にするフィードバックを通じて、アクティブラーニングが協働的プロセスに変容した。