[論文レビュー] Unsupervised learning of object semantic parts from internal states of CNNs by population encoding

Jianyu Wang, Zhishuai Zhang+3 more|arXiv (Cornell University)|Nov 21, 2015

Advanced Neural Network Applications参考文献 30被引用数 38

ひとこと要約

本稿では、CNNフィルタの集団活性化をクラスタリングすることで、意味的かつ視覚的に一貫した物体部品を無教師で発見する手法を提案する。『視覚的コンセプト』と呼ぶ概念を導入し、空間的にカバーする高密度な部品検出器を特定する。この手法は、単一フィルターよりも優れた性能を示し、複数の視覚的コンセプトが視覚的に類似した意味的部品に対応することが判明した。PASCAL3D+と、新しい高密度アノテーション付きImageNetPartデータセットで検証された。

ABSTRACT

We address the key question of how object part representations can be found from the internal states of CNNs that are trained for high-level tasks, such as object classification. This work provides a new unsupervised method to learn semantic parts and gives new understanding of the internal representations of CNNs. Our technique is based on the hypothesis that semantic parts are represented by populations of neurons rather than by single filters. We propose a clustering technique to extract part representations, which we call Visual Concepts. We show that visual concepts are semantically coherent in that they represent semantic parts, and visually coherent in that corresponding image patches appear very similar. Also, visual concepts provide full spatial coverage of the parts of an object, rather than a few sparse parts as is typically found in keypoint annotations. Furthermore, We treat single visual concept as part detector and evaluate it for keypoint detection using the PASCAL3D+ dataset and for part detection using our newly annotated ImageNetPart dataset. The experiments demonstrate that visual concepts can be used to detect parts. We also show that some visual concepts respond to several semantic parts, provided these parts are visually similar. Thus visual concepts have the essential properties: semantic meaning and detection capability. Note that our ImageNetPart dataset gives rich part annotations which cover the whole object, making it useful for other part-related applications.

研究の動機と目的

• 分類タスクに訓練されたCNNの内部状態に、物体意味的部品がどのように表現されているかを理解すること。
• 人間によるアノテーションなしで意味的に意味のある物体部品を発見する無教師手法を開発すること。
• ニューロン活動のクラスタ（視覚的コンセプト）が、キーポイント検出および部品検出タスクにおける効果的な部品検出器として機能するかどうかを評価すること。
• 特に視覚的に類似した部品や重複応答を示す場合に、視覚的コンセプトと意味的部品との対応関係を分析すること。
• キーポイントアノテーションにとどまらない包括的評価を可能にするために、6つの物体クラスを高密度にアノテートした新しいデータセットImageNetPartの作成

提案手法

• CNN特徴マップにおける空間的位置とチャネルごとの特徴活性化をクラスタリングし、『視覚的コンセプト』——共通の意味的・視覚的パターンを表すニューロンのグループ——を形成する。
• 各視覚的コンセプトを、その活性化中心と入力パッチ内の特徴応答との距離を測ることで、部品検出器として定義する。
• PASCAL3D+でキーポイント検出を平均精度（AP）で評価し、単一フィルターや教師ありベースラインと比較する。
• PASCAL3D+の画像を用いて、6つの物体クラスについて意味的部品と背景領域を高密度にアノテートすることで、ImageNetPartデータセットを構築する。
• 単一部品（SingleSP）および複数部品（MultipleSP）評価戦略を用い、検出漏れをペナルティとして課すことで、視覚的コンセプトと意味的部品の対応関係を分析する。
• 視覚的類似性と空間的一致性を用いてクラスタを解釈し、複数の類似部品、背景、または明確な意味的対応がないものを特定する。

実験結果

リサーチクエスチョン

• RQ1 CNN内部特徴活性化の無教師クラスタリングは、意味的に一貫し、視覚的に密な物体部品を発見できるか？
• RQ2 視覚的コンセプトは、キーポイントおよび部品検出において、単一フィルターや教師あり手法と比較してどのように性能を示すか？
• RQ3 視覚的に類似した複数の部品がある場合、視覚的コンセプトと意味的部品の真の対応関係は何か？
• RQ4 視覚的コンセプトは、同時に複数の意味的部品を検出できるか？ もしそうなら、どのような視覚的条件下で発生するか？
• RQ5 背景領域やクラスタリングアーチファクトは、視覚的コンセプトの解釈性にどのように影響するか？

主な発見

• 視覚的コンセプトは意味的および視覚的に一貫しており、各クラスタに属する画像パッチは非常に類似しており、ホイールや窓といった実際の物体部品に対応している。
• PASCAL3D+におけるキーポイント検出で高い平均精度（AP）を達成し、単一フィルターや教師ありベースラインを上回った。
• ImageNetPartデータセットでは、視覚的コンセプトが意味的部品を効果的に検出でき、各コンセプトが視覚的に類似した部品の小さなサブセット（2〜4個）を検出できるようにすることで、APが顕著に向上した。
• 大多数の視覚的コンセプトは1〜4つの意味的部品を検出しており、特に視覚的外観が類似する場合（例：側面窓と前面窓、側面ボディと地面領域）に顕著である。
• 多くの視覚的コンセプトが背景領域（例：飛行機の空、列車のレール）を検出しており、わずかに多くのコンセプトは明確な意味的対応がないことが判明した。これはおそらくクラスタリングや特徴の制限に起因する。
• 1つの意味的部品に対して複数の視覚的コンセプトを組み合わせることで、平均APが0.25向上し、アンサンブル検出が性能向上をもたらすことを示した。