[論文レビュー] Weakly Supervised Multi-task Learning for Concept-based Explainability

Catarina Belém, Vladimir Balayan+2 more|arXiv (Cornell University)|Apr 26, 2021

Machine Learning and Data Classification参考文献 14被引用数 5

ひとこと要約

本論文は、エキスパートルールから得られるノイズの多い概念ラベルと少量のゴールデンラベルを活用して、不正検出と概念ベースの説明可能性を共同で向上させる弱教師付きマルチタスク学習フレームワークを提案する。2段階学習およびハイブリッド学習戦略を組み合わせることで、説明可能性のわずかな妥協を伴いながらも意思決定タスクのパフォーマンスを417.8%向上させ、ラベルが限られる状況下でも効果的な共同学習を実証した。

ABSTRACT

In ML-aided decision-making tasks, such as fraud detection or medical diagnosis, the human-in-the-loop, usually a domain-expert without technical ML knowledge, prefers high-level concept-based explanations instead of low-level explanations based on model features. To obtain faithful concept-based explanations, we leverage multi-task learning to train a neural network that jointly learns to predict a decision task based on the predictions of a precedent explainability task (i.e., multi-label concepts). There are two main challenges to overcome: concept label scarcity and the joint learning. To address both, we propose to: i) use expert rules to generate a large dataset of noisy concept labels, and ii) apply two distinct multi-task learning strategies combining noisy and golden labels. We compare these strategies with a fully supervised approach in a real-world fraud detection application with few golden labels available for the explainability task. With improvements of 9.26% and of 417.8% at the explainability and decision tasks, respectively, our results show it is possible to improve performance at both tasks by combining labels of heterogeneous quality.

研究の動機と目的

• 実世界の機械学習応用における概念ベースの説明可能性のための概念ラベルの不足を解決すること。
• ノイズの多いラベルとゴールデンラベルという異質な品質のラベルを用いて、意思決定タスクと説明可能性タスクの共同学習を可能にすること。
• 弱教師付き学習と限られたゴールデンラベルを効果的に組み合わせるマルチタスク学習戦略の開発と評価すること。
• ゴールデンラベルが限られているがエキスパートルールは利用可能な低リソース環境におけるモデルパフォーマンスの向上を図ること。
• ルールから得られるノイズの多いラベルが、説明可能性と意思決定タスクの両方のパフォーマンス向上に寄与するかどうかを実証的に検証すること。

提案手法

• 実際の電子商取引不正検出データセットにおける数百万件のインスタンスに対して、市販のエキスパートルールを活用して自動的にノイズの多い概念ラベルを生成する。
• 意思決定タスクと説明可能性タスクのための共通早期層とタスク固有の出力ヘッドを持つ、ハードパラメータ共有のニューラルネットワークアーキテクチャを採用する。
• 2つのマルチタスク学習戦略を提案する：2段階学習（ノイズラベルで事前学習し、ゴールデンラベルまたはハイブリッドバッチで微調整）とハイブリッド学習（ゴールデン／ノイズラベルの混合バッチでのみ学習）。
• 多ラベル説明可能性予測におけるクラスの不均衡に対処するため、クラスバランスサンプリングとフォーカル損失を適用する。
• 2段階学習においてカリキュラム学習のアプローチを採用し、高信頼度のノイズラベルから学習を開始することで学習の安定化を図る。
• 学習率、損失重み、バッチ構成などのハイパーパrameterを調整し、タスク間のトレードオフを最適化する。

実験結果

リサーチクエスチョン

• RQ1 エキスパートルールから生成されたノイズの多い概念ラベルは、意思決定と説明可能性タスクの共同学習を効果的に改善できるか？
• RQ2 ノイズラベルとゴールデンラベルを組み合わせた際、2段階学習とハイブリッド学習という異なるマルチタスク学習戦略のパフォーマンスはどのように比較できるか？
• RQ3 弱教師付き学習によって、限られたゴールデンラベルに依存する必要をどれだけ低減できるか、かつ意思決定タスクのパフォーマンスが劣化しない範囲はどの程度か？
• RQ4 混合品質のラベルを用いた際、説明可能性と意思決定パフォーマンスの最適なトレードオフはどの程度か？
• RQ5 異質なラベル信号を統合した共同学習は、ゴールデンラベルのみを用いた完全教師あり学習よりも優れた一般化性能を示すか？

主な発見

• 2段階学習戦略は、ゴールデンラベルのみを用いた完全教師ありベースライン（842件のゴールデンラベルインスタンス）と比較して、意思決定タスクのパフォーマンスを417.8%向上させた。
• 2段階戦略は、ベースラインと比較して説明可能性パフォーマンスも9.26%向上させ、両タスクで同時に向上を達成したことを示した。
• ハイブリッド学習戦略は一貫したパフォーマンスのトレードオフを示したが、いずれのタスクでも2段階アプローチを上回らなかった。
• 大規模なノイズラベルを用いた弱教師付き学習で訓練されたモデルは、小規模なゴールデンラベルデータセットでのみ訓練されたモデルよりも顕著に優れた一般化性能を示した。
• 最良のパフォーマンスを示したモデルは、微調整段階で純粋なゴールデンバッチを用いた2段階戦略を採用しており、説明可能性と意思決定タスクの両方で高い性能を達成し、最適なトレードオフを実現した。
• 結果は、限られたゴールデンラベルがある状況でも、ノイズラベルとゴールデンラベルをマルチタスク学習で組み合わせることで、有効かつスケーラブルなアプローチが可能であることを確認した。