[論文レビュー] Object Detectors Emerge in Deep Scene CNNs

Bolei Zhou, Aditya Khosla+3 more|arXiv (Cornell University)|Dec 22, 2014

Advanced Neural Network Applications参考文献 23被引用数 711

ひとこと要約

この論文は、オブジェクトレベルの教師なしで、シーン分類のためだけに訓練された畳み込みニューラルネットワーク（CNN）の内部層にオブジェクト検出器が自発的に出現することを示している。主な貢献は、1つのCNNが1回の順方向伝搬でシーン認識とオブジェクト局在を両方行えることであり、オブジェクト検出器がシーン表現の一部として自然に学習されることを明らかにしている。これは、識別的なオブジェクトを高精度で検出できることを示している。

ABSTRACT

With the success of new computational architectures for visual processing, such as convolutional neural networks (CNN) and access to image databases with millions of labeled examples (e.g., ImageNet, Places), the state of the art in computer vision is advancing rapidly. One important factor for continued progress is to understand the representations that are learned by the inner layers of these deep architectures. Here we show that object detectors emerge from training CNNs to perform scene classification. As scenes are composed of objects, the CNN for scene classification automatically discovers meaningful objects detectors, representative of the learned scene categories. With object detectors emerging as a result of learning to recognize scenes, our work demonstrates that the same network can perform both scene recognition and object localization in a single forward-pass, without ever having been explicitly taught the notion of objects.

研究の動機と目的

• オブジェクトレベルの教師なしで、シーン分類のためだけに訓練されたCNNにオブジェクト検出器が出現するかどうかを調査すること。
• シーンデータセットとオブジェクト中心のデータセットで訓練されたCNNの内部表現の性質を理解すること。
• シーン分類用に訓練されたCNNの内部ユニットが、信頼性のあるオブジェクト局在と検出を実行できるかどうかを評価すること。
• 検出されたオブジェクトが、シーンカテゴリを区別するのに最も特徴的なものに対応しているかどうかを特定すること。
• 1つの深層ネットワークが、複数の出力を持たずに、エッジ、テクスチャ、オブジェクト、シーンの多段階認識をサポートできることを示すこと。

提案手法

• ImageNet-CNNと同じアーキテクチャを用いて、205のシーンカテゴリを持つPlacesデータセットで深層CNN（Places-CNN）を訓練する。
• pool5層の特徴マップを分析し、特定のオブジェクトクラスに活性化するユニットを同定する。
• アマゾンMechanical Turkによる人間のアノテーションタグを用いて、各ユニットの活性化の意味的意味を解釈する。
• ユニットの活性化を用いて、バウンディングボックスの局在とセグメンテーションによるオブジェクト検出性能を評価する。
• データセット内のオブジェクト頻度とネットワーク内での検出頻度の相関を測定する。
• 各オブジェクトクラスがシーン分類において最も情報が多い頻度を測定することで、判別能を評価する。

実験結果

リサーチクエスチョン

• RQ1 オブジェクトレベルの教師なしで、シーン分類のためだけに訓練されたCNNにオブジェクト検出器が出現するか？
• RQ2 内部層で検出されたオブジェクトは、シーンカテゴリの区別に最も特徴的なものに対応しているか？
• RQ3 ネットワーク内でのオブジェクト検出頻度と、トレーニングデータセット内でのオブジェクト頻度の関係はいかなるものか？
• RQ4 同じネットワークが1回の順方向伝搬でシーン認識とオブジェクト局在の両方を実行できるか？
• RQ5 シーン分類用に訓練されたCNNの内部ユニットが、意味的で解釈可能なオブジェクト検出器をどの程度表現しているか？

主な発見

• シーン分類のためのCNNのpool5層にオブジェクト検出器が出現し、262,144ユニットのうち115ユニットが特定のオブジェクトクラスを検出している。
• SUNデータセットにおけるオブジェクト頻度とネットワーク内での検出頻度の相関は0.54であり、中程度の有意な関係があることが示された。
• シーン分類におけるオブジェクトの判別能と検出頻度の相関は0.84であり、ネットワークが最も情報が多いオブジェクトを優先していることが示された。
• pool5ユニットを用いたオブジェクトのセグメンテーション性能は、高いJaccardインデックスと平均適合率（AP）を達成しており、多くのオブジェクトでAP > 0.5を示している。
• ネットワークは、訓練済みネットワークの内部特徴マップのみを用いて、1回の順方向伝搬でシーン認識とオブジェクト局在の両方を実行できる。
• 検出されたオブジェクトは、目や鼻などの意味的パーツに限定されず、ベッド、ランプ、キャビネットなど、シーンの区別に重要な関連オブジェクトを含んでいる。