[論文レビュー] Visualization of Supervised and Self-Supervised Neural Networks via Attribution Guided Factorization

Shir Gur, Ameen Ali+1 more|arXiv (Cornell University)|Dec 3, 2020

Cell Image Analysis Techniques被引用数 5

ひとこと要約

本稿では、勾配ベースと帰属度ベースの説明可能技術を組み合わせることで、深層ニューラルネットワークにおけるクラス固有の高解像度の可視化を生成する、新規な手法であるAttribution Guided Factorization (AGF) を提案する。局所的な帰属度で誘導される非負値行列分解を用いて、サリエンシーのバイアスを是正することで、勾配ベースおよび帰属度ベースのベンチマークにおいて、自己教師ありモデルを含め、最先端の性能を達成し、それらが暗黙的に意味セグメンテーションの表現を学習していることを示している。

ABSTRACT

Neural network visualization techniques mark image locations by their relevancy to the network's classification. Existing methods are effective in highlighting the regions that affect the resulting classification the most. However, as we show, these methods are limited in their ability to identify the support for alternative classifications, an effect we name {\em the saliency bias} hypothesis. In this work, we integrate two lines of research: gradient-based methods and attribution-based methods, and develop an algorithm that provides per-class explainability. The algorithm back-projects the per pixel local influence, in a manner that is guided by the local attributions, while correcting for salient features that would otherwise bias the explanation. In an extensive battery of experiments, we demonstrate the ability of our methods to class-specific visualization, and not just the predicted label. Remarkably, the method obtains state of the art results in benchmarks that are commonly applied to gradient-based methods as well as in those that are employed mostly for evaluating attribution methods. Using a new unsupervised procedure, our method is also successful in demonstrating that self-supervised methods learn semantic information.

研究の動機と目的

• 既存の説明可能技術が、顕著な特徴を優遇するサリエンシーのバイアスにより、上位予測以外の可視化に限界を示すという問題に対処すること。
• 入力画像レベルでのクラスごとの高解像度可視化を実現する統合手法を、勾配法と帰属度法を統合して開発すること。
• 教師あり学習とは異なり、正例ラベルが入手できない自己教師あり学習モデルの説明可能評価を可能にし、意味セグメンテーションに類似した表現が学習されていることを示すこと。
• 帰属度法および勾配法に見られる、エッジに類似したまたは特徴が明確でないヒートマップを生じるバイアスを是正し、関連する画像領域の局在化精度を向上させること。
• 教師あり学習とは異なり、正例ラベルが存在しない自己教師ありモデルにおける説明可能のための新たな非教師あり手順を確立すること。

提案手法

• AGFは、深層層からの勾配信号と入力レベルの帰属度マップを、非負値行列分解（NMF）フレームワークを用いて統合し、特徴マップを前景および背景成分に分解する。
• 局所的帰属度に基づくガイド付き残差項を導入し、サリエンシーのバイアスを是正することで、目立たないが関連性のある特徴が見過ごされないよう保証する。
• 新規な帰属度誘導型因子分解プロセスにより、入力特徴マップとその勾配をクラス固有の成分に分割し、クラスごとの説明可能性を実現する。
• パラメータフリーの正規化方式を用いて訓練の安定性を確保し、層およびモデル間での一貫性を維持する。
• 自己教師ありモデルでは、サンプルとその近隣サンプルを比較するコントラストプロシージャーを用い、説明可能評価のための疑似ラベルを生成する。
• 正の帰属度値をしきい値処理してセグメンテーションマップを生成し、正の値のみの方法では平均値ベースのしきい値処理を、二部型の方法では正の部分を用いる。

実験結果

リサーチクエスチョン

• RQ1 統合手法として勾配法と帰属度法を組み合わせ、既存の手法の限界を克服したクラス固有の高解像度可視化を生成できるか？
• RQ2 既存手法に見られるサリエンシーのバイアスが、上位予測以外の正確な可視化をどの程度妨げるか？
• RQ3 正例ラベルが存在しないにもかかわらず、説明可能技術を用いて自己教師ありモデルの意味的理解を評価できるか？
• RQ4 提案手法の帰属度誘導型因子分解は、教師ありおよび自己教師あり設定の両方で、ベースライン手法と比較して局在化精度をどの程度向上させるか？
• RQ5 教師ありと自己教師ありモデルにおける説明可能手法の性能に相関があるか。この相関関係は、SSLにおける意味的学習を推定するのに利用できるか？

主な発見

• AGFは、負の摂動およびセグメンテーションベースのベンチマークにおいて、すべてのデータセットと指標で9つのベースライン手法を上回り、最先端の性能を達成した。
• 定性的および定量的比較により、トップクラスおよび2番目に高い予測クラスの両方において、関連する画像領域の局在化が顕著に向上した。
• 自己教師あり評価において、AGFはSCAN、SeLa、RotNetモデルのImageNetにおいて、mAPおよびピクセル精度の両面ですべてのベースラインを上回り、暗黙的な意味的学習の存在を示した。
• アブレーションスタディにより、ガイド付き残差項を削除するか、Grad-CAMに置き換えると性能が低下することが確認され、帰属度誘導型補正機構の重要性が裏付けられた。
• サンプルとその近隣を比較する自己教師あり説明可能評価のための新規な非教師あり手順は、合計値や比較なしの代替手法と比較して優れた結果を示した。
• 教師ありと自己教師あり設定における説明可能性能の強い相関関係が示され、SSLモデルが意味的に意味のある表現を学習している可能性を示唆した。