[論文レビュー] Learning Short-Cut Connections for Object Counting

Daniel Oñoro-Rubio, Mathias Niepert+1 more|arXiv (Cornell University)|May 8, 2018

Video Surveillance and Tracking Methods参考文献 32被引用数 11

ひとこと要約

本稿では、オブジェクトカウントのための新しい畳み込み・デコンボリューションアーキテクチャであるGated U-Net (GU-Net) を提案する。このモデルは、エンコーダーとデコーダー層の間に、微分可能で学習可能なゲーティングユニットとしてのショートカット接続を学習する。適応的で学習可能な情報フローを可能にすることで、特徴マップの統合を向上させ、競合モデルよりも少ないパラメータで、群衆および車両カウントベンチマークで最先端の性能を達成する。

ABSTRACT

Object counting is an important task in computer vision due to its growing demand in applications such as traffic monitoring or surveillance. In this paper, we consider object counting as a learning problem of a joint feature extraction and pixel-wise object density estimation with Convolutional-Deconvolutional networks. We introduce a novel counting model, named Gated U-Net (GU-Net). Specifically, we propose to enrich the U-Net architecture with the concept of learnable short-cut connections. Standard short-cut connections are connections between layers in deep neural networks which skip at least one intermediate layer. Instead of simply setting short-cut connections, we propose to learn these connections from data. Therefore, our short-cuts can work as gating units, which optimize the flow of information between convolutional and deconvolutional layers in the U-Net architecture. We evaluate the introduced GU-Net architecture on three commonly used benchmark data sets for object counting. GU-Nets consistently outperform the base U-Net architecture, and achieve state-of-the-art performance.

研究の動機と目的

• 密なシーンにおけるオブジェクトカウントを向上させるために、U-Netに類似したアーキテクチャにおける特徴マップ統合を強化すること。
• 密度推定のための深層ネットワークにおける固定または学習不能なスキップ接続の限界を解決すること。
• 畳み込み層とデコンボリューション層の間で、情報を動的に制御する学習可能なゲーティング機構を開発すること。
• ImageNetの事前学習に依存せずに、標準的なオブジェクトカウントベンチマークで最先端の性能を達成すること。
• 学習可能なショートカット接続が、カウントタスクにおいて標準的な残差接続やスキップ接続を上回ることを示すこと。

提案手法

• U-Netアーキテクチャのエンコーダーとデコーダー層の間に、動的で微分可能なショートカット接続としての学習可能なゲーティングユニットを提案する。
• 各ゲーティングユニットは、エンコーダーからの特徴マップに学習可能なシグモイドゲートを適用し、その後でデコーダーの特徴マップと連結する。
• ゲーティング機構により、ネットワークは入力データに基づいて、どの特徴をどれほど通すかを学習できる。
• 密度マップに対する標準的な回帰損失を用いて、エンド・ツー・エンドのバックプロパゲーションでモデルを訓練する。
• アノテートされたオブジェクト位置からガウスカーネルベースの真値密度マップを生成する。
• 標準的な指標（MAE、MSE）を用いて、ShanghaiTech、UCSD、PETS2009 の3つのベンチマークデータセットで評価する。

実験結果

リサーチクエスチョン

• RQ1 学習可能なショートカット接続は、U-Netに類似したアーキテクチャにおける特徴マップ統合とカウント精度を向上させることができるか？
• RQ2 オブジェクトカウントタスクにおいて、微分可能なゲーティング機構は固定スキップ接続と比べてどのように異なるか？
• RQ3 学習可能なゲートを備えた軽量で事前学習なしのモデルは、オブジェクトカウントベンチマークで最先端の性能を達成できるか？
• RQ4 提案されたゲーティング機構は、群衆および車両カウントの両方のデータセットで性能を向上させるか？
• RQ5 ゲーティング機構は、深層デコンボリューションネットワークにおける勾配の流れと学習安定性にどのような影響を与えるか？

主な発見

• GU-Netは、280万パラメータしか持たないにもかかわらず、ShanghaiTech Part B データセットでCSRNet や CP-CNN を上回り、最先端の性能を達成した。
• ShanghaiTech Part A データセットでは、MAE を U-Net の 104.9 から 101.4 に低下させ、ベースラインより一貫した改善を示した。
• UCSD データセットでは、MAE が 1.25 にまで低下し、U-Net のベースライン（1.28）を上回り、ImageNet 事前学習なしで CSRNet（1.16）に近い性能に到達した。
• CSRNet（1680万パラメータ）が VGG16 をバックボーンとして使用しているのに対し、GU-Net はわずか 280万パラメータでこれらの結果を達成した。
• アブレーションスタディの結果、固定スキップ接続や標準的な U-Net よりも、学習可能なゲートが性能を向上させることを確認した。
• 提案されたゲーティング機構により、特に高密度シーンにおいて、より良い特徴選択と情報フローが可能になった。