[論文レビュー] Multi-label Object Attribute Classification using a Convolutional Neural Network

Soubarna Banik, Mikko Lauri+1 more|arXiv (Cornell University)|Nov 10, 2018

Advanced Image and Video Retrieval Techniques参考文献 15被引用数 8

ひとこと要約

本稿では、事前学習済みの物体認識モデルを微調整して、色、形状、パターン、テクスチャといった低レベルの物体属性を多ラベル分類するための、Deep Attribute Network (DAN) を提案する。トランスファー学習とエンドツーエンドの微調整を組み合わせて、これらの属性を同時に学習することで、ImageNet Attribute および a-Pascal データセットにおいて、ROC-AUC スコアで最大21%の向上を達成し、最先端の性能を実現した。

ABSTRACT

Objects of different classes can be described using a limited number of attributes such as color, shape, pattern, and texture. Learning to detect object attributes instead of only detecting objects can be helpful in dealing with a priori unknown objects. With this inspiration, a deep convolutional neural network for low-level object attribute classification, called the Deep Attribute Network (DAN), is proposed. Since object features are implicitly learned by object recognition networks, one such existing network is modified and fine-tuned for developing DAN. The performance of DAN is evaluated on the ImageNet Attribute and a-Pascal datasets. Experiments show that in comparison with state-of-the-art methods, the proposed model achieves better results.

研究の動機と目的

• オブジェクト記述および認識の向上を目的として、色、形状、パターン、テクスチャといった一般的な低レベルのオブジェクト属性（色、形状、パターン、テクスチャ）を学習する深層学習モデルの開発。
• 従来の手法が手作業で特徴を設計するか、高レベルの属性に限定するという限界を克服するため、事前学習済みのConvNetから学習された特徴を用いる。
• 属性間の共通特徴学習を可能にする多ラベル属性分類を実現し、一般化性能と分類性能の向上を図る。
• 複雑な環境や未知の状況下でのオブジェクト局在化に、属性固有の注意マップを用いる可能性を検討する。

提案手法

• VGG-16 などの事前学習済み物体認識ConvNetを、トランスファーラーニングを用いて属性分類に微調整する。
• 属性間の明示的な相関関係を強制しないように、最終層を変更することで、マルチタスク学習に対応したネットワークアーキテクチャに適応する。
• すべての属性を同時にクロスエントロピー損失関数でエンドツーエンド学習することで、低レベルの視覚的パターンに共通する特徴学習を可能にする。
• 励起バックプロパゲーションを用いて、属性局在化のための注意マップを生成し、属性ラベルをフィードバック信号として利用する。
• ImageNet Attribute データセットで学習を行い、ImageNet および a-Pascal データセットで標準的な指標（ROC-AUC や mAP）を用いて評価する。
• ベースライン比較のための曖昧なラベルを除外するが、DAN ではデータバイアスを避けるためにそれらを保持し、公平な評価プロトコルを採用する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの物体認識ConvNetを、低レベルのオブジェクト属性の多ラベル分類に効果的に微調整できるか？
• RQ2 色、形状、パターン、テクスチャの属性を同時に学習することで、独立的または手作業特徴に基づく手法と比較して性能が向上するか？
• RQ3 汎用的な低レベル属性を学習した深層学習モデルの性能は、ベンチマークデータセットにおいて最先端の手法と比較してどうなるか？
• RQ4 バックプロパゲーションを用いて生成された属性固有の注意マップは、画像内のオブジェクト局在化に利用できるか？

主な発見

• DAN は、ImageNet Attribute データセットの全属性グループにおいて、Russakovsky ら [16] や VGG-16+SVM よりもROC-AUCスコアで3〜18%向上した。
• DAN-ResNet のバリエーションは、テクスチャで0.91、形状で0.87、色で0.90、パターンで0.82のROC-AUCを達成し、従来手法を著しく上回った。
• 25個の属性を含む評価では、DAN のmAPスコアは、色で0.75、形状で0.66、パターンで0.53、テクスチャで0.82に達し、優れた一般化性能を示した。
• 20属性および25属性の両方の評価で一貫した性能を示しており、本手法の堅牢性と妥当性を裏付けた。
• 励起バックプロパゲーションにより生成された注意マップは、赤いボウルで部分的遮蔽がある場合でも、属性の手がかりを用いてオブジェクトを正しく局在化できた。
• 微調整済みネットワークから得られる特徴は、手作業特徴やオブジェクトネットワークからの標準的特徴抽出よりも優れていることが示された。