[論文レビュー] Do Users Benefit From Interpretable Vision? A User Study, Baseline, And Dataset

Leon Sixt, Martin Schuessler+3 more|arXiv (Cornell University)|Apr 25, 2022

Explainable Artificial Intelligence (XAI)被引用数 5

ひとこと要約

本論文は、モデルのバイアスを検出する能力について、単純なベースライン（モデルのログティットに基づく画像のグループ化）と比較して、解釈可能なビジョン手法（特にコンセプトベースと対向的説明）がユーザーにどのような利益をもたらすかを評価する。制御されたバイアスを有する合成データセット（Two4Two）を用いた240名の参加者を対象としたユーザー研究の結果、ベースラインがコンセプトベースの説明を上回った一方、可逆ニューラルネットワークを用いた対向的説明は同程度の正確性を示したが、より正確に属性を特定できる可能性を示し、解釈可能性ツールのユーザ中心の評価の必要性を浮き彫りにした。

ABSTRACT

A variety of methods exist to explain image classification models. However, whether they provide any benefit to users over simply comparing various inputs and the model's respective predictions remains unclear. We conducted a user study (N=240) to test how such a baseline explanation technique performs against concept-based and counterfactual explanations. To this end, we contribute a synthetic dataset generator capable of biasing individual attributes and quantifying their relevance to the model. In a study, we assess if participants can identify the relevant set of attributes compared to the ground-truth. Our results show that the baseline outperformed concept-based explanations. Counterfactual explanations from an invertible neural network performed similarly as the baseline. Still, they allowed users to identify some attributes more accurately. Our results highlight the importance of measuring how well users can reason about biases of a model, rather than solely relying on technical evaluations or proxy tasks. We open-source our study and dataset so it can serve as a blue-print for future studies. For code see, https://github.com/berleon/do_users_benefit_from_interpretable_vision

研究の動機と目的

• 現代の解釈可能なビジョン手法が、モデル出力のログティットに基づく単純なベースラインと比較して、ユーザーがモデルバイアスを検出する能力を向上させるかどうかを調査すること。
• モデル解釈性に関するユーザー研究が行えるように、特徴量とバイアスを制御可能な合成データセット（Two4Two）を構築すること。
• データ生成プロセスが把握されている制御された環境で、真の特徴量の重要度を定量化すること。
• 将来的な解釈性技術の評価のため、モデル出力のみを用いたベンチマークベースラインを確立すること。
• データセット、モデル、研究設計、チュートリアルをオープンソース化し、今後の研究における再現可能性と適応性を支援すること。

提案手法

• 二頭の抽象的動物の画像を生成できる合成データセット生成ツール（Two4Two）を開発し、色や形状などの制御可能な属性と、二値のターゲットクラスと相関するバイアスを備えた。
• モデルの出力ログティットに従って入力画像をグリッド形式でグループ化するベースライン説明手法を設計し、ユーザーが入力と予測を視覚的に比較できるようにした。
• 可逆ニューラルネットワーク（INN）を用いて、予測を反転させつつ関係のない属性の変更を最小限に抑えた画像補間を生成することで、対向的説明を生成した。
• 最先端の手法（Zhang et al., 2021）を用いて潜在空間内の解釈可能な特徴を同定することで、コンセプトベースの説明を特定した。
• 参加者1人1人が1つの説明タイプのみを提示されたユーザー研究（N=240）を実施し、モデルの予測に寄与する関連属性を特定するよう依頼した。
• 正解の正確性と使いやすさを評価するため、二値選択と自由記述の両方の回答を収集し、信頼性の高いクラウドソーシングの回答を得るための品質チェックを実施した。

実験結果

リサーチクエスチョン

• RQ1 モデル出力に従って入力をグループ化する単純なベースラインが、コンセプトベースおよび対向的説明よりも、バイアス関連属性を特定する能力を向上させるか？
• RQ2 可逆ニューラルネットワークを用いて生成された対向的説明は、バイアス検出においてベースラインを上回るユーザーのパフォーマンスを実現できるか？
• RQ3 ユーザーはコンセプトベースの説明をどのように解釈し、実際の使用においてどのような使いやすさの問題が生じるか？
• RQ4 異なる説明手法を提示された際、ユーザーが真のバイアス関連属性をどれだけ正確に特定できるか？
• RQ5 バイアスが強い場合と弱い場合で、説明手法のパフォーマンスはどのように変化するか。また、ユーザーは対向的説明における微細な変化をどのように認識するか？

主な発見

• モデルのログティットに従って画像をグループ化するベースライン手法が、バイアス関連属性を特定する能力において、コンセプトベースの説明を顕著に上回った。
• 可逆ニューラルネットワークを用いた対向的説明は、全体の正確性においてベースラインと同等だったが、最も強いバイアスをより正確に特定できる可能性を示した。
• 参加者はコンセプトベースの説明を解釈する際に困難を抱え、特に空間的重複や関連する特徴を強調する表現力の欠如が主な要因であった。
• 自由記述の回答から、すべての説明タイプにおいて使いやすさの問題が明らかになった。特に、どの属性が変更されたかの混乱や、対向的説明における背景の変化の誤解が見られた。
• 技術的に洗練された手法であっても、コンセプトベースおよび対向的説明は単純なベースラインを顕著に上回ることはできず、ユーザ中心の評価の重要性が浮き彫りになった。
• 本研究は、技術的評価だけでは不十分であり、解釈可能性手法の真の利点を評価するには、ユーザーの実際のパフォーマンスを直接測定する必要があることを示している。