[論文レビュー] Understanding Deep Architectures by Visual Summaries

Marco Carletti, Marco Godi+3 more|arXiv (Cornell University)|Jan 27, 2018

Visual Attention and Saliency Detection参考文献 23被引用数 4

ひとこと要約

本稿では、同一クラスの複数枚の画像において顕著で鋭い画像領域を特定・クラスタリングする、新たな可視化フレームワークを提案する。このフレームワークにより、深層ネットワークが認識するように学習した意味的パーツが明らかになる。スパース最適化による鋭いサリエンシーマスクと、意味的フローに基づくクラスタリングを組み合わせることで、ネットワーク性能と相関する解釈可能な視覚的要約を生成する。この要約を用いたSVM特化により、ImageNet上でトップ-1精度が1.08%向上する。

ABSTRACT

In deep learning, visualization techniques extract the salient patterns exploited by deep networks for image classification, focusing on single images; no effort has been spent in investigating whether these patterns are systematically related to precise semantic entities over multiple images belonging to a same class, thus failing to capture the very understanding of the image class the network has realized. This paper goes in this direction, presenting a visualization framework which produces a group of clusters or summaries, each one formed by crisp salient image regions focusing on a particular part that the network has exploited with high regularity to decide for a given class. The approach is based on a sparse optimization step providing sharp image saliency masks that are clustered together by means of a semantic flow similarity measure. The summaries communicate clearly what a network has exploited of a particular image class, and this is proved through automatic image tagging and with a user study. Beyond the deep network understanding, summaries are also useful for many quantitative reasons: their number is correlated with ability of a network to classify (more summaries, better performances), and they can be used to improve the classification accuracy of a network through summary-driven specializations.

研究の動機と目的

• 同一クラスの複数枚の画像において、深層ネットワークが一貫して特定の意味的パーツを活用しているかどうかを体系的・系統的に分析する欠如。
• 単一の画像を孤立して分析するのではなく、クラスの画像全体に一般化する可視化手法を開発し、特徴的な視覚的パターンを同定すること。
• 学習された視覚的要約の数とネットワーク分類性能との関係を定量化すること。
• 発見された視覚的要約を用いて分類器を特化させ、モデル性能を向上させること。

提案手法

• 分類意思決定に最も寄与する領域を強調する、鋭いバイナリサリエンシーマスクを生成するためのスパース最適化の適用。
• これらのマスクの連結成分を、同じクラスの画像間でクラスタリングするための局所的特徴として使用。
• 意味的フロー類似度測定を用いたアフィニティプロパゲーションにより、異なる画像からの空間的・意味的に類似した領域をグループ化。
• 顕著な領域のクラスタとして視覚的要約を生成し、それぞれが物体クラスの明確な意味的パーツ（例：鼻、尾、脚）を表す。
• 各要約に属する画像で線形SVMを学習し、そのパーツの分類を特化。
• 凸結合による重み付き和を用いて、SVMスコアと元のネットワークのソフトマックス出力を統合し、全体の精度を向上。

実験結果

リサーチクエスチョン

• RQ1 深層ネットワークは、同一クラスの複数枚の画像において一貫して同じ意味的パーツ（例：鼻、目、尾）を活用しているか？
• RQ2 複数枚の画像から導出された視覚的要約は、単一画像のサリエンシーマップよりも解釈性が高く、定量的に測定可能なネットワーク挙動の説明を提供できるか？
• RQ3 学習された視覚的要約の数と、深層ネットワークの分類精度との間に相関があるか？
• RQ4 発見された要約を用いて、事前学習済みネットワークの分類性能を向上させることができるか？

主な発見

• 視覚的要約の数はネットワーク性能と正の相関を示す：AlexNet（平均6要約）からResNet（9要約）に至るまで、分類精度が同時に上昇する。
• GoogleNetは「ピックアップ」クラスで9要約を学習するが、AlexNetは6要約にとどまる。視覚的にGoogleNetの優れた性能は、より豊かなパーツレベル理解に起因していることを説明する。
• ユーザースタディーでは要約タグに関する高い評価者間一致度（平均μU = 0.35）を確認し、要約がユーザが信頼性高く特定可能な意味的で細分化されたパーツを捉えていることを裏付けた。
• 元のネットワーク予測と視覚的要約で学習したSVMのスコアを統合することで、ImageNet上でトップ-1精度が1.08%向上した。
• AlexNetが誤分類した画像が、要約に基づくブースティングを適用することで正しく再分類される。これは、失敗回復における実用的有効性を示している。
• 滑らかなマスクに比べ、鋭いマスクが摂動に対してより高い分類損失を誘発することから、サリエンシーディテクションにおけるスパarsityの有効性が裏付けられた。