[論文レビュー] Why do These Match? Explaining the Behavior of Image Similarity Models

Bryan A. Plummer, Mariya I. Vasileva+3 more|OpenBU (Boston University)|May 26, 2019

Explainable Artificial Intelligence (XAI)参考文献 43被引用数 6

ひとこと要約

この論文では、2つの画像が類似するとみなされる理由を、類似度モデルの説明のために、局所化された重要度マップと人間が解釈可能な属性を組み合わせるSANEという手法を提案する。SANEは、重要度-属性の一致を同時に最適化し、属性の適切さに関する事前分布を活用することで、説明の質と属性認識性能の両方を向上させ、Fashionと自然画像のタスクにおいて、Polyvore OutfitsおよびAnimals with Attributes 2のユーザースタディでベースラインを上回る結果を得た。

ABSTRACT

Explaining a deep learning model can help users understand its behavior and allow researchers to discern its shortcomings. Recent work has primarily focused on explaining models for tasks like image classification or visual question answering. In this paper, we introduce Salient Attributes for Network Explanation (SANE) to explain image similarity models, where a model's output is a score measuring the similarity of two inputs rather than a classification score. In this task, an explanation depends on both of the input images, so standard methods do not apply. Our SANE explanations pairs a saliency map identifying important image regions with an attribute that best explains the match. We find that our explanations provide additional information not typically captured by saliency maps alone, and can also improve performance on the classic task of attribute recognition. Our approach's ability to generalize is demonstrated on two datasets from diverse domains, Polyvore Outfits and Animals with Attributes 2. Code available at: https://github.com/VisionLearningGroup/SANE

研究の動機と目的

• 分類モデルとは根本的に異なる二つの入力を必要とし、類似度スコアを出力する画像類似度モデルに対して、説明手法が不足している問題に対処すること。
• 類似度スコアの背後にある顕著な画像領域と意味のある属性を特定するブラックボックス説明手法を開発すること。
• 重要度マップだけでは不十分な説明を、より解釈可能な形で提供することで、類似度モデルの挙動に対するユーザの理解を向上させること。
• 類似度モデルの説明を弱い監督信号として用いることで、属性認識性能を向上させること。
• 多様なデータセットを用いたユーザースタディを通じて、説明の有効性を検証し、正確性と有用性の両方を測定すること。

提案手法

• SANEは、類似度モデルへの順方向伝搬のみを必要とするブラックボックスアプローチであり、アーキテクチャに依存しない。
• 3つのコンponentを統合する：(1) 各属性の信頼度スコアと活性化マップを出力する属性予測器、(2) 重要な画像領域を特定する重要度マップ生成器、(3) 重要度マップと属性活性化マップの一致を促進する正則化項としての属性適切さに関する事前分布。
• 学習段階では、重要度マップと属性活性化マップの重複を最大化することで、説明をモデル挙動に一致させる。
• 推論段階では、以下の重み付き和を用いて説明を順位付けする：(1) 重要度マップと属性の類似度、(2) 重要度マップと属性の適合度事前分布、(3) 画像内での属性の尤度。
• SANEは、勾配に基づくおよび摂動に基づく既存の重要度マップ生成手法（例：Grad-CAM、LRP、Integrated Gradients）を、重要度マップ生成器として適応可能にしている。
• SANEはエンドツーエンドで学習され、属性予測器と重要度マップ生成器が同時に最適化されることで、説明の質と下流の属性認識精度の両方を向上させる。

実験結果

リサーチクエスチョン

• RQ1 属性に基づく説明は、単に重要度マップのみを用いる場合と比較して、画像類似度モデルに対するより解釈可能なインサイトを提供できるか？
• RQ2 重要度-属性の一致を同時に最適化することで、説明の質と属性認識性能の両方を向上させられるか？
• RQ3 ユーザは、異なる説明タイプ（例：重要度マップ、上位属性予測、SANEの説明）に対して、どの程度有用性や正確性を感じるか？
• RQ4 説明タイプの有効性は、異なるデータセット（例：ファッション画像対自然画像）によって異なるか？
• RQ5 SANEの説明は、重要度マップだけでは捉えきれない部分を含め、類似度モデルの予測に対するユーザの理解を向上させられるか？

主な発見

• Polyvore Outfitsデータセットでは、SANEの説明によりユーザの正確性が68.9%に向上し、コントロールケース比で2.9%向上、最も尤もらしい属性のみを用いた場合と比較して6.4%向上した。
• Animals with Attributes 2では、SANEが61.3%のユーザ正確性を達成し、コントロールケース比で19.3%向上、最も尤もらしい属性ベースライン比で10.2%向上した。
• AwAでは、87.5%のユーザがSANEの属性説明を有用と評価したのに対し、最も尤もらしい属性では69.2%にとどまり、解釈可能性の高さが顕著に向上した。
• SANEは、類似度モデルの説明を弱い監督信号として用いることで、属性認識性能（平均適合率）を向上させた。
• Polyvore Outfitsでは、重要度マップとSANE属性を組み合わせた説明が最も高いユーザ正確性（70.0%）を達成したが、ユーザはSANE単体よりもこの組み合わせをやや有用性が低い（55.6%）と感じた。
• ランダムな重要度マップは、20%のユーザにのみ有用と感じられ、一部のケースでは正確性を低下させることが判明し、誘導のない重要度マップはユーザを誤解させる可能性があることが示された。