[論文レビュー] Crowd Counting by Adapting Convolutional Neural Networks with Side Information

Di Kang, Debarun Dhar+1 more|arXiv (Cornell University)|Nov 21, 2016

Video Surveillance and Tracking Methods参考文献 19被引用数 19

ひとこと要約

本論文は、カメラの角度や高さなどの補助情報を利用して畳み込みフィルタの重みを動的に調整する、適応型畳み込みニューラルネットワーク（ACNN）を提案する。これにより、文脈に応じた特徴抽出が可能となり、標準的なCNNよりも正確な混雑度推定が可能になり、微調整なしに未学習のシーン文脈にも一般化する。

ABSTRACT

Computer vision tasks often have side information available that is helpful to solve the task. For example, for crowd counting, the camera perspective (e.g., camera angle and height) gives a clue about the appearance and scale of people in the scene. While side information has been shown to be useful for counting systems using traditional hand-crafted features, it has not been fully utilized in counting systems based on deep learning. In order to incorporate the available side information, we propose an adaptive convolutional neural network (ACNN), where the convolutional filter weights adapt to the current scene context via the side information. In particular, we model the filter weights as a low-dimensional manifold, parametrized by the side information, within the high-dimensional space of filter weights. With the help of side information and adaptive weights, the ACNN can disentangle the variations related to the side information, and extract discriminative features related to the current context. Since existing crowd counting datasets do not contain ground-truth side information, we collect a new dataset with the ground-truth camera angle and height as the side information. On experiments in crowd counting, the ACNN improves counting accuracy compared to a plain CNN with a similar number of parameters. We also apply ACNN to image deconvolution to show its potential effectiveness on other computer vision applications.

研究の動機と目的

• 視覚的歪みや外観の変動に起因する混雑度推定の課題を、カメラの角度や高さといった補助情報を使ってシーン文脈を明示的にモデル化することで解決すること。
• 標準的なCNNがすべての文脈で固定されたフィルタを使用するため、カメラの角度、高さ、スケールの変化が混同されてしまうという制限を克服すること。
• 補助的な補助情報を使って異なるシーン文脈に適応可能な統一的な深層学習アーキテクチャを開発し、微調整なしに異なったシーン間で展開可能にすること。
• ACNNフレームワークの応用範囲を混雑度推定を越えて、変動するぼかしカーネルを持つ画像の復元処理など、他のコンピュータビジョンタスクへ拡張できることを示すこと。
• 実世界の多様な状況で文脈に応じた推定が可能になるよう、真値のカメラパラメータを備えた新しいデータセットを収集すること。

提案手法

• ACNNアーキテクチャは、高次元の重み空間における低次元の多様体として畳み込みフィルタの重みをパラメータ化し、その多様体は補助情報（例：カメラの傾き角度や高さ）によって制御される。
• サブネットワークが補助情報をもとにフィルタの重みを生成し、推論時に各シーン文脈に応じてフィルタを適応的に変更可能となる。
• フィルタの多様体は学習中に獲得され、これにより文脈に起因する変化（例：視点歪み）とコンテンツに起因する特徴とを分離可能となる。
• フィルタの微分可能パラメータ化を用いることで、標準的なバックプロパゲーションを用いたエンド・ツー・エンドの学習が可能となる。
• 画像のぼかし回復タスクでは、補助入力としてぼかしカーネルの半径が用いられ、ACNNは異なるカーネルサイズにわたる連続的なフィルタ多様体を学習する。
• アーキテクチャは標準的なCNNと同等のパラメータ数を維持しており、効率性を保ちつつ一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 カメラの角度や高さといった補助情報が、多様なシーン文脈における混雑度推定の精度向上に効果的に利用可能か？
• RQ2 適応型CNNアーキテクチャが、微調整なしに未学習のシーン文脈（例：新しいカメラの角度や高さ）に一般化可能か？
• RQ3 補助情報によってパarameter化された多様体としてフィルタ重みをモデル化することで、固定フィルタと比較してより優れた特徴の分離と性能向上が達成できるか？
• RQ4 ACNNフレームワークは、変動する補助入力を持つ他のコンピュータビジョンタスク（例：画像のぼかし回復）へ拡張可能か？
• RQ5 ACNNは、訓練時に見られなかった補助入力（例：ぼかしカーネルの半径）に対しても、ゼロショット一般化性能を示すか？標準CNNと比較してどうか？

主な発見

• カメラの角度や高さを補助情報として持つ新たに収集したデータセットにおいて、ACNNはパラメータ数が同程度の標準CNNよりも高い混雑度推定精度を達成した。
• ACNNは、異なるカメラの角度や高さのシーンに跨る推定において、微調整なしに効果的に一般化し、良好な性能を発揮した。
• 画像のぼかし回復タスクにおいて、ACNNは複数のカーネル半径（3, 5, 7, 9, 11）で学習した結果、入力のぼかし画像に比べてPSNRが+1.03 dB向上した。標準CNNの改善度のほぼ2倍を達成した。
• 3つのカーネル半径（3, 7, 11）でのみ学習した場合でも、ACNNは+0.84 dBのPSNR向上を達成し、未学習のカーネルサイズに対しても強いゼロショット一般化性能を示した。
• 視覚的結果から、ACNNの出力は標準CNNと比較してより多くのディテールを保持しており、ぼかし回復画像の過剰な平滑化を回避していることが確認された。
• ぼかし回復タスクにおける学習済みのフィルタ多様体は、ぼかしカーネル半径に応じてフィルタの振幅と周波数が滑らかに変化することを示しており、補助入力空間における補間能力が裏付けられた。