[論文レビュー] DEEP-CARVING : Discovering Visual Attributes by Carving Deep Neural Nets

Sukrit Shankar, Vikas Garg+1 more|arXiv (Cornell University)|Apr 19, 2015

Advanced Image and Video Retrieval Techniques参考文献 35被引用数 17

ひとこと要約

本稿では、画像内の複数の視覚的属性を効率的に発見できる、深層畳み込みニューラルネットワーク（CNN）の新しい弱教師付き学習手順であるDeep-Carvingを提案する。特徴マップ応答から反復的に擬似ラベルを生成することで、ネットワークは共起する属性を分離し、SUN Attributes Datasetおよび新しい名詞＋形容詞ペairedデータセットCAMIT-NSADにおいて、多属性予測の精度を顕著に向上させる。

ABSTRACT

Most of the approaches for discovering visual attributes in images demand significant supervision, which is cumbersome to obtain. In this paper, we aim to discover visual attributes in a weakly supervised setting that is commonly encountered with contemporary image search engines. For instance, given a noun (say forest) and its associated attributes (say dense, sunlit, autumn), search engines can now generate many valid images for any attribute-noun pair (dense forests, autumn forests, etc). However, images for an attribute-noun pair do not contain any information about other attributes (like which forests in the autumn are dense too). Thus, a weakly supervised scenario occurs: each of the M attributes corresponds to a class such that a training image in class m ∈ {1, . . . , M} contains a single label that indicates the presence of the mᵗʰ attribute only. The task is to discover all the attributes present in a test image. Deep Convolutional Neural Networks (CNNs) [20] have enjoyed remarkable success in vision applications recently. However, in a weakly supervised scenario, widely used CNN training procedures do not learn a robust model for predicting multiple attribute labels simultaneously. The primary reason is that the attributes highly co-occur within the training data, and unlike objects, do not generally exist as well-defined spatial boundaries within the image. To ameliorate this limitation, we propose Deep-Carving, a novel training procedure with CNNs, that helps the net efficiently carve itself for the task of multiple attribute prediction. During training, the responses of the feature maps are exploited in an ingenious way to provide the net with multiple pseudo-labels (for training images) for subsequent iterations. The process is repeated periodically after a fixed number of iterations, and enables the net carve itself iteratively for efficiently disentangling features. Additionally, we contribute a noun-adjective pairing inspired Natural Scenes Attributes Dataset to the research community, CAMIT-NSAD, containing a number of co-occurring attributes within a noun category. We describe, in detail, salient aspects of this dataset. Our experiments on CAMIT-NSAD and the SUN Attributes Dataset [29], with weak supervision, clearly demonstrate that the Deep-Carved CNNs consistently achieve considerable improvement in the precision of attribute prediction over popular baseline methods.

研究の動機と目的

• 各訓練画像に1つの属性ラベルしか与えられていない弱教師付き設定において、複数の視覚的属性を発見する課題に対処すること。
• 共起する属性や空間的境界の欠如が多ラベル学習の強固さを損なう弱教師付き設定において、標準的なCNN学習の限界を克服すること。
• 内部特徴応答から擬似ラベルを生成することで、CNNが反復的に特徴表現を精錬できる自己教師付きメカニズムを開発すること。
• 自然な共起パターンをよりよくモデル化できるよう、名詞＋形容詞ペアの属性を備えた新しいデータセットCAMIT-NSADを提供すること。
• 弱教師付き設定下での多属性予測において、強力なベースラインを常に上回る性能向上を示すこと。

提案手法

• 最終畳み込み層の特徴マップ応答を用いて、訓練画像の擬似ラベルを定期的に再推定する学習手順であるDeep-Carvingを提案する。
• 各反復で、最も活性化する特徴マップ応答を用いて、1つの正例ラベルを超える追加の属性ラベルを推定する。
• 空間的活性化パターンに基づいて複数の属性に確率を割り当てるソフトラベル化機構を導入し、単一ラベルデータから多ラベルの監視を可能にする。
• 反復的精錬を適用：固定回数の学習エポック後に、ネットワークは再び擬似ラベルを再推定し、更新された監視信号で継続的に学習を実行する。
• アーキテクチャの変更を避けるために、標準的なCNNアーキテクチャ（例：AlexNet）をDeep-Carving手順で微調整する。
• データセットの構造（名詞＋形容詞ペア）を活用し、特に初期畳み込み層で属性固有の特徴の学習を促進する。

実験結果

リサーチクエスチョン

• RQ1 1枚の画像に1つの属性ラベルしか与えられていない状況で、CNNが複数の視覚的属性を発見できるか。
• RQ2 特徴マップ応答をどのように活用して、学習中に意味のある擬似ラベルを複数の属性に対して生成できるか。
• RQ3 擬似ラベルの反復的精錬が、弱教師付き設定下での共起する属性の分離を改善するか。
• RQ4 提案手法Deep-Carvingは、標準的な微調整法やベースラインの弱教師付き手法に比べて、多属性予測でどの程度優れているか。
• RQ5 Deep-Carvedネットワークと標準的な微調整モデルとの間で、属性固有のフィルターや特徴表現はどのように異なるか。

主な発見

• Deep-Carved CNNは、SUN Attributes Datasetおよび新たに導入されたCAMIT-NSADデータセットの両方で、人気のあるベースライン手法よりも顕著な属性予測精度の向上を達成した。
• 同じデータセットにおいて、事前学習モデル（例：MIT Places205）の標準的な微調整法よりも一貫して優れた性能を示したが、ドメインシフトのため性能が著しく低下する傾向にあった。
• 1層目のフィルタの可視化により、Deep-Carvedネットワークは、オブジェクト固有のエッジに類するフィルタを好む微調整モデルとは異なり、より属性固有のパターン（例：色、テクスチャ）を学習していることがわかった。
• 抽象的または非常に共起する属性では誤検出率が上昇したため、本手法でさえも、このような属性の区別が難しいことが示された。
• 性能向上はCAMIT-NSADで最も顕著であり、訓練データの名詞＋形容詞ペア構造がネットワークの自己教師付き学習目的とよく一致しているためである。
• 特徴マップ応答からの反復的擬似ラベル生成により、明示的な多ラベル監視なしに、専用の特徴検出器をネットワークが「彫り出す」ことのできる有効な自己教師学習が実現された。