[論文レビュー] Deep Descriptor Transforming for Image Co-Localization

Xiu-Shen Wei, Chen-Lin Zhang+5 more|arXiv (Cornell University)|May 8, 2017

Advanced Neural Network Applications参考文献 27被引用数 14

ひとこと要約

本稿では、事前学習済み畳み込みニューラルネットワーク（CNN）特徴量を活用して、画像間の相関関係をモデル化することで、複数の画像セットに共通する物体を検出する、非教師あり手法であるDeep Descriptor Transforming（DDT）を提案する。DDTは、画像共局在ベンチマークで最先端の性能を達成し、従来手法を顕著に上回り、ノイズの多い画像に対しても強く、ImageNetにない未観測カテゴリへの一般化性能も優れている。

ABSTRACT

Reusable model design becomes desirable with the rapid expansion of machine learning applications. In this paper, we focus on the reusability of pre-trained deep convolutional models. Specifically, different from treating pre-trained models as feature extractors, we reveal more treasures beneath convolutional layers, i.e., the convolutional activations could act as a detector for the common object in the image co-localization problem. We propose a simple but effective method, named Deep Descriptor Transforming (DDT), for evaluating the correlations of descriptors and then obtaining the category-consistent regions, which can accurately locate the common object in a set of images. Empirical studies validate the effectiveness of the proposed DDT method. On benchmark image co-localization datasets, DDT consistently outperforms existing state-of-the-art methods by a large margin. Moreover, DDT also demonstrates good generalization ability for unseen categories and robustness for dealing with noisy data.

研究の動機と目的

• 事前学習済み深層畳み込みニューラルネットワークの特徴抽出を超えた再利用可能性を探索・活用すること、特に非教師あり物体局在に向けた応用を目的とする。
• アノテーションなしで一連の画像に共通する物体を局在化する画像共局在問題に、畳み込み活性化を検出器として用いることで対処すること。
• ノイズの多い画像に強く、ImageNetに存在しない未観測カテゴリへも良好に一般化する手法を開発すること。
• 教師なし条件下で、画像間の記述子相関を効果的にモデル化し、カテゴリ一貫性のある領域を同定できることを示すこと。

提案手法

• 各画像セット内の各画像について、事前学習済みCNN（例：VGG-16）の最終畳み込み層から深層畳み込み記述子を抽出する。
• 画像セット全体の記述子を連結し、それをロバスト主成分分析（RPCA）に適用することで、低ランク成分（共通物体パターンを表す）とスパース成分（ノイズや外れ値を表す）に分解する。
• 低ランク行列の最初の主成分（P¹）を指標マップとして用い、値が高い領域が物体領域に対応するように共通物体を局在化する。
• P¹における正の値の数を検出スコアとして扱う：正の値が少ないほど、共通物体を含まないノイズの多い画像である可能性が高くなる。
• PCAを用いて記述子を新たな空間に変換し、画像間での記述子相関の評価と強化を行う。
• 低ランク成分の構造を活用して、共通物体を含まない画像を特定・抑制する。

実験結果

リサーチクエスチョン

• RQ1 事前学習モデルの畳み込み活性化は、教師なし条件下で共通物体の検出器として効果的であるか？
• RQ2 DDTはImageNetの事前学習中に見られなかった物体カテゴリへどの程度一般化できるか？
• RQ3 DDTは、共通物体を含まないノイズの多い画像をどの程度効果的に検出・除外できるか？
• RQ4 画像間の記述子相関構造を効果的にモデル化することで、教師なし条件下で共通物体を局在化できるか？
• RQ5 標準PCAや他のベースラインと比較して、ロバストPCAの使用が局在化精度とノイズ耐性を向上させるか？

主な発見

• ImageNet Subsetsデータセットにおいて、DDTは平均CorLocが69.1%を達成し、以前の最先端手法（Liら、2016年）の48.3%を顕著に上回った。
• Object Discoveryデータセットでは、ノイズなし条件下でCorLocが68.2%を達成し、Image-Box手法（Tangら、2014年）の約12%高い性能を示した。
• Object Discoveryデータセットでの評価により、DDTはノイズの多い画像に対して顕著に高いROC AUCスコアを示し、優れた耐性を示した。
• 定性的な結果から、DDTは他の物体（例：人）が存在する画像においても、共通物体（例：スコップ、車椅子）を効果的に局在化できた。
• 2番目の主成分（P²）は、例えば犬の画像で頭部と胴体を分離するような部分レベルの構造を明らかにした。これは、将来的な部分ベース共局在に応用可能である可能性を示唆している。
• ImageNetの元のクラスに含まれないカテゴリ（例：「rake」「wheelchair」）に対しても高い性能を示したため、DDTは未観測カテゴリへの一般化が良好であることが裏付けられた。