[論文レビュー] Concept-level Debugging of Part-Prototype Networks

Andrea Bontempelli, Stefano Teso+3 more|arXiv (Cornell University)|May 31, 2022

Explainable Artificial Intelligence (XAI)被引用数 7

ひとこと要約

この論文では、部品プロトタイプネットワーク（ProtoPNets）の概念レベルでのデバッグフレームワークであるProtoPDebugを紹介する。このフレームワークにより、人間の監視者がどの部品プロトタイプを忘れさせたり保持させたりするかを指定することで、モデルの挙動を修正できる。モデルの説明と新規の損失関数を活用することで、入力レベルのデバッグ手法と比較して、アノテーションコストを最大80％まで削減し、一般化性能を向上させることができる。

ABSTRACT

Part-prototype Networks (ProtoPNets) are concept-based classifiers designed to achieve the same performance as black-box models without compromising transparency. ProtoPNets compute predictions based on similarity to class-specific part-prototypes learned to recognize parts of training examples, making it easy to faithfully determine what examples are responsible for any target prediction and why. However, like other models, they are prone to picking up confounders and shortcuts from the data, thus suffering from compromised prediction accuracy and limited generalization. We propose ProtoPDebug, an effective concept-level debugger for ProtoPNets in which a human supervisor, guided by the model's explanations, supplies feedback in the form of what part-prototypes must be forgotten or kept, and the model is fine-tuned to align with this supervision. Our experimental evaluation shows that ProtoPDebug outperforms state-of-the-art debuggers for a fraction of the annotation cost. An online experiment with laypeople confirms the simplicity of the feedback requested to the users and the effectiveness of the collected feedback for learning confounder-free part-prototypes. ProtoPDebug is a promising tool for trustworthy interactive learning in critical applications, as suggested by a preliminary evaluation on a medical decision making task.

研究の動機と目的

• 解釈可能性がある一方で、一般化性能や公平性を損なう要因となる共変量バイアスやショートカットの問題に対処すること。
• 従来のデバッグ手法が個々のインスタンス、すなわち入力レベルのフィードバック（例：ピクセル単位の関連度マップ）を必要とすることによる高いアノテーションコストを低減すること。
• ユーザーが部品プロトタイプに関する高レベルの概念ベースのフィードバックを提供できるようにすることで、人間を含めたデバッグを可能にすること。このフィードバックは複数の例に一般化可能である。
• 共変量バイアスを示す部品プロトタイプを積極的に忘れさせ、質の高い因果関係に寄与する部品プロトタイプを保持することで、モデルの耐性を高めること。
• 実世界および合成データの設定において、概念レベルのフィードバックの有効性を実証すること。特に、医療画像分類タスクを含む。

提案手法

• ProtoPNetsの内在的なケースベースの説明機能を活用し、ユーザーに予測に寄与している部品プロトタイプを可視化する。
• モデルの説明を確認した上で、人間の監視者が特定の部品プロトタイプを「忘れさせる」または「保持させる」としてフィードバックを提供できるようにする。
• 二重損失関数を導入する：共変量バイアスの概念に類似するプロトタイプに対してペナルティを与える「忘れさせる損失」と、質の高いプロトタイプを保持するための「保持する損失」。
• フィードバックと二重損失関数を用いて、部品プロトタイプのパラメータのみを微調整し、特徴抽出器は固定したままProtoPNetを微調整する。
• 個々の例に対するアノテーションを避けるために、概念レベル（すなわち、部品プロトタイプ）でフィードバックを一般化する。
• iProto-TREX や ProSeNets を含む既存のProtoPNetバージョンと、最小限のアーキテクチャ変更で統合できる。

実験結果

リサーチクエスチョン

• RQ1 入力レベルのフィードバックと比較して、概念レベルのフィードバックを用いることで、大幅にアノテーションコストを削減できるか？
• RQ2 ProtoPDebugは、共変量バイアスを示す部品プロトタイプを効果的に排除しながら、有用で因果関係に寄与するプロトタイプを保持できるか？
• RQ3 分布外データに対して、リバーサル（再発症）を防ぎ、耐性を維持する性能はどの程度か？
• RQ4 モデルの説明に従って、専門外のユーザーが信頼性があり効果的なフィードバックを提供できるか？
• RQ5 医療画像分類のような実世界の高リスク応用分野に対しても、ProtoPDebugは効果的に適用可能か？

主な発見

• ProtoPDebugは、最先端の入力レベルデバッグ手法と比較して、最大80％のアノテーションコスト削減を達成しながら、優れた性能を発揮した。
• デバッグ後、特に水文字が付加されたレントゲン画像やスカイ／葉っぱのパッチを含む、強い共変量バイアスを示すデータセットにおいて、一般化性能と分布外精度が向上した。
• 一般の人々を対象としたオンライン実験では、モデルの説明に従って、ユーザーが信頼性高く共変量バイアスを示す部品プロトタイプを特定・修正でき、高いフィードバック品質が得られた。
• リバーサルを防ぐために、共変量バイアスの概念を再学習するのを抑制する「忘れさせる損失」を用いることで、ProtoPDebugはリバーサルを防止した。
• 合成データおよび実世界データの両方において、既存のデバッギング手法に比べ、既存のバグの是正と新たなバグの防止の両面で優れた性能を示した。
• ChestX-ray14を用いた医療意思決定タスクにおける予備評価では、ProtoPDebugが、重要な応用分野におけるモデルの信頼性と信頼性を高めた。