[論文レビュー] Convolutional Neural Networks for Aerial Multi-Label Pedestrian Detection

Amir Soleimani, Nasser M. Nasrabadi|arXiv (Cornell University)|Jul 16, 2018

Advanced Neural Network Applications参考文献 11被引用数 4

ひとこと要約

本稿では、物体候補生成にSSDを用い、高解像度の物体候補とマルチアクションラベルの間で共有された潜在空間を学習するVGGベースのネットワークを用いた、空中マルチラベル歩行者行動検出のための二段階フレームワークを提案する。本手法はOkutama-Actionデータセットで28.30%のmAPを達成し、単段階のSSDベースライン（例：SSD960で18.80%）を著しく上回り、高解像度特徴の統合とマルチラベル学習により、より高い精度を実現している。

ABSTRACT

The low resolution of objects of interest in aerial images makes pedestrian detection and action detection extremely challenging tasks. Furthermore, using deep convolutional neural networks to process large images can be demanding in terms of computational requirements. In order to alleviate these challenges, we propose a two-step, yes and no question answering framework to find specific individuals doing one or multiple specific actions in aerial images. First, a deep object detector, Single Shot Multibox Detector (SSD), is used to generate object proposals from small aerial images. Second, another deep network, is used to learn a latent common sub-space which associates the high resolution aerial imagery and the pedestrian action labels that are provided by the human-based sources

研究の動機と目的

• 空中画像における低解像度の歩行者検出という課題に対処すること。この場合、物体はしばしば数ピクセル程度にまで小さくなる。
• 低解像度の入力を検出器に供給するのではなく、高解像度の物体候補を活用することで、空中画像におけるマルチラベル歩行者行動検出の性能を向上させること。
• 画像特徴を高解像度の物体候補から抽出し、マルチアクションラベル情報と統合するフレームワークを開発することで、検出精度を向上させること。
• SSDのような単段階検出器の限界、特に空中ビューにおける小サイズ物体とマルチラベル行動認識の困難さを克服すること。

提案手法

• まず、小規模な空中画像（300x300または512x512）からSSD512を用いて物体候補を生成し、潜在的な歩行者のバウンディングボックスを出力する。
• これらの候補に対応する高解像度のパッチを、元のフル解像度の空中画像から抽出することで、微細な詳細を保持する。
• 高解像度の物体候補から深層特徴を抽出するために、VGGベースの畳み込みネットワークを採用する。
• 画像特徴とマルチアクションラベル埋め込みの間で共有された潜在空間を学習し、共同表現学習を可能にする。
• 検出された歩行者が特定のアクション（または複数のアクション）を実行しているかどうかを判断するため、あり／なしの質疑応答メカニズムを用いる。
• マルチラベル学習を適用することで、アクション間で共有される意味的パターンを活用し、一般化性能と検出性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 単段階検出器と比較して、二段階フレームワークは低解像度の空中画像におけるマルチラベル歩行者行動検出を改善できるか？
• RQ2 元の画像から抽出した高解像度の物体候補を用いることで、物体が小さくても行動認識の精度が向上するか？
• RQ3 画像特徴とマルチアクションラベルの間で共有された潜在空間を学習することで、検出性能はどの程度向上するか？
• RQ4 マルチラベル学習は、空中歩行者行動検出における性能向上にどの程度寄与するか？

主な発見

• 提案された二段階フレームワークは、Okutama-Actionデータセットにおいてマルチラベル歩行者行動検出で28.30%のmAPを達成し、SSD512（15.39%）およびSSD960（18.80%）を著しく上回った。
• 元の画像から抽出した高解像度の物体候補を用いることで、低解像度の入力処理よりも検出精度が向上した。これは、初期検出器（SSD）が小規模な画像で動作しているにもかかわらず成立する。
• 潜在空間におけるマルチラベル学習により、アクション間で共有される意味的パターンをモデルが活用でき、一般化性能と性能が向上した。
• SSD512は歩行者検出のみで75.3%のmAP@0.35を達成しており、強力なベースライン性能を示しているが、二段階フレームワークにより行動検出性能が10～15ポイント向上した。
• 本フレームワークは、第二段階で解像度を保持することで、空中画像における小サイズ物体の影響を軽減し、効果的に処理している。
• 結果から、高解像度の画像特徴とマルチラベル行動埋め込みを統合することで、低解像度の検出ヘッドに依存するのとは異なり、より正確で頑健な検出が可能であることが示された。