[論文レビュー] Human-in-the-loop Extraction of Interpretable Concepts in Deep Learning Models

Zhenge Zhao, Panpan Xu+2 more|arXiv (Cornell University)|Aug 8, 2021

Explainable Artificial Intelligence (XAI)参考文献 51被引用数 6

ひとこと要約

本論文は、最小限のラベリング作業で深層学習モデルから解釈可能な視覚的コンセプトを効率的に抽出できる、人間を含むループ型アクティブラーニングフレームワークを提案する。人間のフィードバックをコンセプト抽出に統合することで、モデルの解釈性が向上し、性能を低下させる特徴が特定され、一貫してモデル精度を向上させるデータ拡張が可能になる。

ABSTRACT

The interpretation of deep neural networks (DNNs) has become a key topic as more and more people apply them to solve various problems and making critical decisions. Concept-based explanations have recently become a popular approach for post-hoc interpretation of DNNs. However, identifying human-understandable visual concepts that affect model decisions is a challenging task that is not easily addressed with automatic approaches. We present a novel human-in-the-loop approach to generate user-defined concepts for model interpretation and diagnostics. Central to our proposal is the use of active learning, where human knowledge and feedback are combined to train a concept extractor with very little human labeling effort. We integrate this process into an interactive system, ConceptExtract. Through two case studies, we show how our approach helps analyze model behavior and extract human-friendly concepts for different machine learning tasks and datasets and how to use these concepts to understand the predictions, compare model performance and make suggestions for model refinement. Quantitative experiments show that our active learning approach can accurately extract meaningful visual concepts. More importantly, by identifying visual concepts that negatively affect model performance, we develop the corresponding data augmentation strategy that consistently improves model performance.

研究の動機と目的

• 深層ニューラルネットワークの意思決定に影響を与える人間が理解可能な視覚的コンセプトを同定する課題に対処すること。
• 人間のフィードバックを活用したアクティブラーニングにより、コンセプト抽出における人間のラベリング作業を最小限に抑えること。
• ユーザー定義のコンセプトを用いてモデルの診断と最適化を支援するインタラクティブなシステムの開発。
• データ拡張を用いて負の視覚的コンセプトの影響を特定・低減することで、モデル性能の向上。
• 多様なデータセットおよびタスクにおいて、解釈可能でユーザー主導のモデル行動分析を可能にすること。

提案手法

• 本手法は、人間によるラベリングに最も情報を得られるサンプルを段階的に選択するアクティブラーニングを用い、必要なアノテーションを最小限に抑える。
• 人間ラベル付きデータを用いてトレーニングされたコンセプト抽出器により、モデルの予測と相関する視覚的コンセプトを同定する。
• インタラクティブシステム「ConceptExtract」により、ユーザーがリアルタイムでコンセプトをラベリング・精緻化でき、フィードバックをモデルに統合する。
• ユーザーが定義したコンセプトを用いて、モデル行動の分析、バイアスの特定、モデル最適化の指針を導く。
• 性能に悪影響を及ける負のコンセプトを同定し、それらを基にターゲットドリブンなデータ拡張戦略を設計する。
• 本フレームワークは複数のデータセットおよびタスクで評価され、スケーラビリティと有効性が実証された。

実験結果

リサーチクエスチョン

• RQ1 人間を含むループ型アクティブラーニングは、意味のある解釈可能な視覚的コンセプトを抽出する際、どのようにラベリング作業を削減できるか？
• RQ2 ユーザー定義のコンセプトは、どの程度モデルの解釈性と診断能力を向上させられるか？
• RQ3 同定された負の視覚的コンセプトを、効果的なデータ拡張戦略の設計に活用できるか？
• RQ4 本手法は、完全に自動化されたコンセプト抽出と比較して、精度および解釈性の面でどの程度優れているか？
• RQ5 抽出されたコンセプトは、モデル性能および一般化能力の向上にどのような形で寄与できるか？

主な発見

• アクティブラーニング手法により、最小限の人的ラベリングで意味のある視覚的コンセプトを高い精度で抽出できた。
• 本システムは、モデル性能に悪影響を及える視覚的コンセプトを効果的に同定した。
• 同定された負のコンセプトに基づくデータ拡張により、モデル精度が一貫して向上した。
• 本手法は、多様なデータセットおよびタスクにおいて、効果的なモデル診断と最適化を可能にした。
• ユーザーのフィードバックにより、抽出されたコンセプトの解釈性と関連性が顕著に向上した。
• 本フレームワークは、実世界のモデル解釈シナリオにおいてスケーラビリティと実用的価値を示した。