[論文レビュー] Half-CNN: A General Framework for Whole-Image Regression

Jun Yuan, Bingbing Ni+1 more|arXiv (Cornell University)|Dec 22, 2014

Visual Attention and Saliency Detection参考文献 51被引用数 17

ひとこと要約

本稿では、標準的な畳み込みニューラルネットワーク（CNN）の全結合層を連続的特徴マップに置き換えることで、分類器の設計を不要にし、エンド・ツー・エンドの回帰が可能な汎用的なフレームワーク、Half-CNNを提案する。この手法は、入力サイズが均一でなくてもよく、分類アーキテクチャと強い相関を持つため、小規模なネットワークを用いて顔検出・セグメンテーションおよびシーンの注目度予測において競争力ある性能を達成する。

ABSTRACT

The Convolutional Neural Network (CNN) has achieved great success in image classification. The classification model can also be utilized at image or patch level for many other applications, such as object detection and segmentation. In this paper, we propose a whole-image CNN regression model, by removing the full connection layer and training the network with continuous feature maps. This is a generic regression framework that fits many applications. We demonstrate this method through two tasks: simultaneous face detection & segmentation, and scene saliency prediction. The result is comparable with other models in the respective fields, using only a small scale network. Since the regression model is trained on corresponding image / feature map pairs, there are no requirements on uniform input size as opposed to the classification model. Our framework avoids classifier design, a process that may introduce too much manual intervention in model development. Yet, it is highly correlated to the classification network and offers some in-deep review of CNN structures.

研究の動機と目的

• 全結合層や手動による分類器設計を回避する、全画像回帰向けの汎用的ディープラーニングフレームワークの開発。
• 固定された入力次元を必要とせず、画像または特徴マップのペアに対するエンド・ツー・エンド学習を可能にする。
• 顔検出や注目度予測のような多様な回帰タスクにおいて、フレームワークの有効性を実証すること。
• 統一されたアーキテクチャを通じて、分類と回帰の間の構造的関係を調査すること。
• 回帰タスク向けに、標準的なCNNの軽量かつ強力な代替手段を提供すること。

提案手法

• 標準的なCNNから全結合層を削除し、連続的特徴マップ上で動作する回帰ヘッドに置き換える。
• 画像とターゲットの回帰マップのペアを用いてエンド・ツー・エンドで学習させ、回帰出力を直接最適化可能にする。
• CNNの階層的特徴学習の利点を活かしつつ、分類層の手動設計を回避する。
• 分類ネットワークと同一の畳み込み層およびプーリング層を維持することで、転移学習や構造的解析が可能になる。
• 全結合層が存在しないため、入力サイズの可変性をサポートし、実世界の応用において柔軟性が向上する。
• 回帰ヘッドは、特徴マップを所望の出力解像度にアップサンプリングするために、逆畳み込み（デコンボリューション）または転置畳み込み層を用いる。

実験結果

リサーチクエスチョン

• RQ1 全結合層や手動による分類器設計に依存せずに、CNNベースの回帰フレームワークを設計できるか？
• RQ2 全結合層を削除することで、全画像回帰タスクの性能にどのような影響を与えるか？
• RQ3 分類用に訓練された単一のアーキテクチャを、連続的特徴マップを用いて回帰にどの程度適応できるか？
• RQ4 本フレームワークは、物体検出や注目度予測のような多様な回帰タスクに一般化可能か？
• RQ5 固定された入力サイズの制約がなくなることで、実世界の応用における柔軟性と性能が向上するか？

主な発見

• Half-CNNフレームワークは、小規模なネットワークを用いても顔検出およびセグメンテーションタスクで、特化型モデルと同等の性能を達成する。
• 均一な入力サイズの必要性が排除され、可変解像度の画像や特徴マップに対して直接学習可能になる。
• 標準的な分類用CNNと強い相関を示すため、ネットワークアーキテクチャの影響を深く分析可能である。
• 全結合層の不在により、モデルの複雑さと設計における手作業の介入が軽減されつつ、高い性能を維持できる。
• 画像とターゲットマップのペアに対するエンド・ツー・エンド学習が可能となり、マルチステージ手法と比較してパイプラインが簡素化される。
• わずかなネットワークのみでシーンの注目度予測において最先端の結果を達成しており、高い効率性と一般化性能を示している。