[論文レビュー] Deep Feature Factorization For Concept Discovery

Edo Collins, Radhakrishna Achanta+1 more|arXiv (Cornell University)|Jun 26, 2018

Advanced Image and Video Retrieval Techniques参考文献 27被引用数 6

ひとこと要約

Deep Feature Factorization (DFF) は、事前学習された畳み込みニューラルネットワーク (CNN) の特徴量に非負値行列分解 (NMF) を適用することで、アノテーションを一切用いずに画像間で階層的な意味的コンセプトを発見し、オブジェクトの部分や全体の局所化を実現する。これは、コアセグメンテーションおよびコローカライゼーションにおいて最先端の性能を達成しており、アノテーションの分解能を上回る細粒度な部分レベルの局所化も可能である。

ABSTRACT

We propose Deep Feature Factorization (DFF), a method capable of localizing similar semantic concepts within an image or a set of images. We use DFF to gain insight into a deep convolutional neural network's learned features, where we detect hierarchical cluster structures in feature space. This is visualized as heat maps, which highlight semantically matching regions across a set of images, revealing what the network `perceives' as similar. DFF can also be used to perform co-segmentation and co-localization, and we report state-of-the-art results on these tasks.

研究の動機と目的

• アノテーションデータを一切必要としない、深層 CNN 特徴量における意味的コンセプトを発見する教師なし手法の開発。
• オブジェクトの意味的に意味のある部分ベースの分解に対応する、CNN 特徴空間内の階層的クラスタ構造の解明。
• 事前学習済み CNN と入力画像のみを用いて、オブジェクトおよびその部分のコセグメンテーションとコローカライゼーションを可能にする。
• 画像間でネットワークがどのように意味的に類似する領域を認識しているかを可視化することで、CNN の表現の解釈可能性を提供する。
• 教師あり学習や手作業で設計された事前知識を一切用いずに、コセグメンテーションおよび部分セグメンテーションのベンチマークで競争力のある性能を達成する。

提案手法

• 事前学習済み CNN の層からの活性化マップに非負値行列分解 (NMF) を適用し、特徴行列を非負の因子に分解する。
• 複数の画像からの特徴マップを一つの行列として扱い、各列がすべての画像における空間的位置に対応する。
• 得られた NMF の基底ベクトルを再形状し、画像群全体で意味的に一致する領域を強調するヒートマップに変換する。
• 因子の数 $k$ を用いて発見の粒度を制御し、$k$ が大きいほど細かい部分レベルの局所化が可能になる。
• ヒートマップのパターンを既知の部分カテゴリと照合することで、DFF 要因の半自動的または自動的なラベル付けを実施する。
• 特徴空間内の階層的クラスタリングを活用し、例えば「体」クラスタ内に「四肢」のサブクラスタが存在することを特定する。

実験結果

リサーチクエスチョン

• RQ1 CNN 特徴量に NMF を適用することで、オブジェクトの部分や全体に対応する階層的な意味的構造を発見できるか？
• RQ2 微調整やアノテーションなしに、事前学習済み CNN が画像間で意味的に意味のある対応関係を発見できるか？
• RQ3 DFF はトレーニング時に見られなかったオブジェクトの部分（例：新しいオブジェクトクラス）を局所化できるか？
• RQ4 DFF はコセグメンテーションおよびコローカライゼーションタスクにおいて、最先端の手法と比較してどうなるか？
• RQ5 同じオブジェクトクラス内において、DFF は同じオブジェクトの異なる部分（例：頭部 vs. 胸部）を区別できるか？

主な発見

• DFF は、強い事前知識や教師あり学習に依存する手法を上回る、コセグメンテーションおよびコローカライゼーションベンチマークにおける最先端の性能を達成した。
• $k=3$ の場合、PASCAL-Parts データセットにおける「耳／目／頭／鼻」という部分の IoU が 38 に達し、高い局所化精度を示した。
• $k=4$ の場合、DFF はモーターバイク画像の 60% で「人物」クラスを正しく検出でき、共通オブジェクト内でのサブクラス検出能力を示した。
• DFF は特徴空間に階層的クラスタリングを明らかにし、たとえば「体」クラスタに「四肢」のサブクラスタが存在し、さらに「腕」と「脚」に分割されることを示した。
• DFF はアノテーションの分解能を超える細かさで領域を局所化でき、たとえアノテーションが区別しないにしても、ホイールの上部と下部を区別するなど、細部の認識が可能である。
• わずか 5 枚の画像を用いた半自動ラベル付けでも、DFF 要因の正確な部分ラベル付けが可能であり、本手法の解釈可能性と一貫性を裏付けた。