[論文レビュー] Towards Visually Explaining Similarity Models

Meng Zheng, Srikrishna Karanam+3 more|arXiv (Cornell University)|Aug 13, 2020

Data Visualization and Analytics参考文献 58被引用数 5

ひとこと要約

この論文では、分類ヘッドを必要とせず、画像類似度モデルの解釈可能な説明を可能にする勾配ベースの視覚的注目メソッドを提案する。学習済み特徴埋め込みを活用して類似度注目マップを生成することで、微分可能制約を通じてモデル性能を向上させ、リtrieval、再識別、少サンプルセグメンテーションのタスクでベースラインを上回る性能を発揮する。

ABSTRACT

We consider the problem of visually explaining similarity models, i.e., explaining why a model predicts two images to be similar in addition to producing a scalar score. While much recent work in visual model interpretability has focused on gradient-based attention, these methods rely on a classification module to generate visual explanations. Consequently, they cannot readily explain other kinds of models that do not use or need classification-like loss functions (e.g., similarity models trained with a metric learning loss). In this work, we bridge this crucial gap, presenting a method to generate gradient-based visual attention for image similarity predictors. By relying solely on the learned feature embedding, we show that our approach can be applied to any kind of CNN-based similarity architecture, an important step towards generic visual explainability. We show that our resulting attention maps serve more than just interpretability; they can be infused into the model learning process itself with new trainable constraints. We show that the resulting similarity models perform, and can be visually explained, better than the corresponding baseline models trained without these constraints. We demonstrate our approach using extensive experiments on three different kinds of tasks: generic image retrieval, person re-identification, and low-shot semantic segmentation.

研究の動機と目的

• 分類ヘッドや損失関数を用いない類似度モデルにおける視覚的説明可能性の欠如に対処すること。
• メトリック学習損失で学習された類似度モデルに対して、直感的で勾配ベースの注目マップを生成する手法を開発すること。
• 注目マップをトレーニング可能な制約として統合し、モデル性能を向上させること。
• リtrieval、少サンプルセグメンテーションなどの多様なビジョンタスクにわたる本手法の汎用性を実証すること。
• 実世界の応用において、自己教師あり対応学習およびゼロ/少サンプル一般化の基盤を構築すること。

提案手法

• 分類ログイットに依存せず、特徴埋め込みの勾配から導出される微分可能な活性化を提案し、注目マップを生成する。
• 類似度注目を、2つ以上の画像間の類似度スコアに寄与する領域を強調する注目マップの集合として定義する。
• 特徴埋め込みを介した勾配ベースのバックプロパゲーションにより、入力画像の空間的重要性マップを計算する。
• トレーニング中にメトリック学習の目的関数と整合するように注目マップを強制する「類似度マイニング」という微分可能制約を導入する。
• 埋め込み距離を目的関数として、畳み込み特徴マップに対して勾配を計算することで、シアンプルおよびトリプレットネットワークに本手法を適用する。
• 類似度注目マップを正則化信号としてトレーニングプロセスに統合し、特徴学習を精緻化する。

実験結果

リサーチクエスチョン

• RQ1 分類ヘッドや分類損失を必要とせずに、類似度モデルに対して勾配ベースの視覚的注目を生成できるか？
• RQ2 得られた注目マップは、GradCAMなどの既存手法よりも直感的で正確な画像類似度の説明を提供できるか？
• RQ3 類似度注目マップをトレーニング可能な制約として用いることで、類似度モデルの性能向上が可能か？
• RQ4 提案手法は、画像リtrieval、人物再識別、少サンプルセグメンテーションなどの多様なビジョンタスクに一般化可能か？
• RQ5 類似度注目は、少サンプルラベル伝搬タスクにおける自己教師あり対応学習を可能にするか？

主な発見

• 提案手法は、GradCAMよりも直感的で正確な注目マップを生成し、類似ペアの対応する画像領域を明確に強調する。
• 類似度注目マップはトレーニング中に微分可能制約として利用可能であり、そのような制約を備えないベースラインモデルと比較して、モデル性能が向上する。
• 本手法は、PAN-initを含む既存手法を上回る最先端の性能を少サンプルセマンティックセグメンテーションで達成する。
• 本手法は、汎用的画像リtrieval、人物再識別、少サンプルセグメンテーションなど多様なタスクに適応でき、広範な適用可能性を示す。
• ゼロショットおよび少サンプル設定でも、下流タスクとは関係のないデータで学習した場合でも良好な性能を発揮し、強力な一般化能力および対応学習能力を示す。
• 本手法により自己教師あり対応学習が可能となり、医療画像リtrievalなどのアプリケーションにおける少サンプル・ゼロショット学習の新たな道筋を提供する。