[論文レビュー] Can Partial Strong Labels Boost Multi-label Object Recognition?

Hao Yang, Joey Tianyi Zhou+4 more|arXiv (Cornell University)|Apr 22, 2015

Image Retrieval and Classification Techniques参考文献 7被引用数 6

ひとこと要約

本稿では、部分的な強いラベルと弱いラベルを活用して、マルチラベル物体認識を向上させるマルチビュー・マルチインスタンスのディープラーニングフレームワークを提案する。オブジェクトプロポーザル抽出と二視点表現学習を用いてマルチラベル画像をマルチインスタンス学習問題に変換することで、特徴の識別性と一般化性能が向上し、非常に深いネットワークと組み合わせることで、2つのベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

Convolutional neural networks (CNN) have shown great performance as a global representation for object recognition. However, for multi-label images that contain multiple objects from different categories, scales and locations, single CNN features might not be be optimal. To enhance the robustness and discriminative power of CNN features for multi-label object recognition problem, we propose a multi-view multi-instance framework. This framework transforms the multi-label classification problem into a multi-class multi-instance learning problem by extracting object proposals from images. A multi-view pipeline is then applied to generate a two-view representation of each proposal by exploiting two levels of labels in multi-label recognition problem. The proposed framework not only has the flexibility of utilizing both weak and strong labels or just weak labels, but also holds the generalization ability to boost the performance of unseen categories by available strong labels. Our framework is extensively compared with state-of-the-art hand-crafted feature based and CNN based methods on two multi-label benchmark datasets. The experimental results validate the discriminative power and generalization ability of the proposed framework. When combined with a very-deep network, we can achieve state-of-the-art results in both datasets.

研究の動機と目的

• スケールや位置が異なる多数のオブジェクトを含むマルチラベル画像において、単一のCNN特徴が多様なオブジェクトを捉えるのを制限する点を是正すること。
• マルチラベル物体認識のための深層特徴の識別力とロバスト性を向上させること。
• 統一されたフレームワーク内で弱いラベルと部分的な強いラベルの両方を効果的に活用できること。
• 利用可能な強いラベルを活用することで、未観測のカテゴリへの一般化を向上させること。
• 従来のハンドクラフト特徴法およびCNNベース手法を上回る柔軟性と一般化能力を持つフレームワークの開発

提案手法

• 画像からのオブジェクトプロポーザル抽出を用いて、マルチラベル分類問題をマルチクラス・マルチインスタンス学習問題に変換すること。
• 弱いラベル（画像レベル）と強いラベル（オブジェクトレベルのアノテーション）の2段階のラベルを用いて、各プロポーザルに対して二視点表現を作成すること。
• 弱いラベルと強いラベルの両方の信号を統合して最適化するマルチビュー学習パイプラインを適用すること。
• 階層的特徴学習を活用するため、非常に深い畳み込みニューラルネットワークとフレームワークを統合すること。
• 完全なインスタンスレベルのアノテーションを必要とせず、部分的な強いラベルを活用して特徴の識別性を向上させること。
• 利用可能な強いラベルを活用することで、未観測のカテゴリに対しても一般化能力を維持できるようにフレームワークを設計すること。

実験結果

リサーチクエスチョン

• RQ1 弱いラベルと組み合わせた部分的な強いラベルが、マルチラベル物体認識の性能を顕著に向上させるか？
• RQ2 提案されたマルチビュー・マルチインスタンスフレームワークは、標準的なCNNと比較して特徴の識別性をどのように向上させるか？
• RQ3 部分的な強いラベルのみを用いて、フレームワークが未観測のカテゴリにどの程度一般化できるか？
• RQ4 標準的なマルチラベルベンチマークにおいて、フレームワークは最先端のハンドクラフト特徴法およびCNNベース手法と比較してどの程度優れているか？
• RQ5 非常に深いネットワークとフレームワークを組み合わせた場合、認識精度にどのような影響を与えるか？

主な発見

• 非常に深いネットワークと組み合わせた本フレームワークは、2つのマルチラベルベンチマークデータセットで最先端の性能を達成した。
• 部分的な強いラベルの統合により、特徴の識別性と認識精度が顕著に向上した。
• 利用可能な強いラベルを効果的に活用することで、未観測のカテゴリに対しても良好な一般化性能を示した。
• マルチビュー・マルチインスタンス学習パイプラインは、ハンドクラフト特徴ベースおよび標準的なCNNベース手法を上回った。
• 強いラベルのサブセットしか利用できない状況でも、フレームワークは強力な性能を維持しており、ラベル利用の柔軟性を示した。