[論文レビュー] Right for the Wrong Scientific Reasons: Revising Deep Networks by Interacting with their Explanations.

Patrick Schramowski, Wolfgang Stammer+6 more|arXiv (Cornell University)|Jan 15, 2020

Explainable Artificial Intelligence (XAI)参考文献 55被引用数 13

ひとこと要約

本論文では、説明を基にモデルを再編集できる人間科学者が参加するトレーニングループを統合する、説明可能で相互作用可能な学習（XIL）という手法を紹介する。モデルの説明に対する人間のフィードバックを通じて予測を段階的に改善することで、誤った相関関係（Clever Hans行動）への依存を低減し、植物形態計測タスクにおけるモデルの信頼性と頑健性を向上させる。

ABSTRACT

Deep neural networks have shown excellent performances in many real-world applications. Unfortunately, they may show Hans-like behavior---making use of confounding factors within datasets---to achieve high performance. In this work we introduce the novel setting of explanatory interactive learning (XIL) and illustrate its benefits on a plant phenotyping research task. XIL adds the scientist into the training loop such that she interactively revises the original model via providing feedback on its explanations. Our experimental results demonstrate that XIL can help avoiding Clever Hans moments in machine and encourages (or discourages, if appropriate) trust into the underlying model.

研究の動機と目的

• 現実世界のデータセットにおいて、深層ニューラルネットワークが混同要因や非頑健な特徴（Clever Hans行動）に依存する問題に対処すること。
• 科学者がモデルの説明に対するフィードバックを提供することで、モデル行動をインタラクティブに是正できるフレームワークを開発すること。
• トレーニング中に人間のドメイン知識を統合することで、モデルの信頼性と頑健性を向上させること。
• 実際の科学的応用分野である植物形態計測において、インタラクティブな修正の有効性を示すこと。

提案手法

• XILは、科学者にモデルの説明（例：セマンティックマップ）を提示することで、トレーニングループに人間のフィードバックを統合する。
• 科学者はドメイン知識に基づき、モデルが注目すべき特徴や無視すべき特徴を示すことで、予測を再編集する。
• 人間のフィードバックを組み込んだ損失関数を用いて、モデルをファインチューニングすることで、誤った特徴への依存を抑制する。
• 説明は勾配に基づく特徴重要度評価法（例：Grad-CAM）を用いて生成され、人間との相互作用を支援する。
• 反復的なフィードバックループにより、完全に再トレーニングする必要なく、段階的にモデル行動を改善できる。
• 本手法は、初期段階で背景アーチファクトに依存するが、植物の特徴とは関係のない背景に依存する植物形態計測データセットで評価されている。

実験結果

リサーチクエスチョン

• RQ1 モデルの説明に対するインタラクティブなフィードバックは、深層学習モデルにおける誤ったデータセットバイアスへの依存を低減できるか？
• RQ2 ドメインエキスパートがモデルの説明を解釈し、是正することで、モデルの頑健性とパフォーマンスにどのような影響を与えるか？
• RQ3 XILは、膨大な再トレーニングを要せず、モデル予測に対する信頼性をどの程度向上させられるか？
• RQ4 XILは、科学的画像認識タスクにおいてより信頼性が高く一般化可能なモデル行動をもたらすか？

主な発見

• XILは、植物形態計測において、混同要因となる背景特徴への依存を成功裏に低減し、分布外データにおける一般化性能を向上させた。
• 科学者は、Clever Hans行動を示すモデルを、生物学的に関連のある植物特徴に注目させることで是正できた。
• XILによって再編集されたモデルは、ベースラインモデルと比較して、ドメイン固有の知識とより高い整合性を示した。
• インタラクティブなフィードバックループにより、テストデータの背景構成がトレーニングデータと異なる場合でも、より頑健な予測が得られた。