[論文レビュー] Exploring the Applications of Faster R-CNN and Single-Shot Multi-box Detection in a Smart Nursery Domain

Somnuk Phon-Amnuaisuk, Ken T. Murata+3 more|arXiv (Cornell University)|Aug 27, 2018

Advanced Neural Network Applications参考文献 15被引用数 10

ひとこと要約

本稿は、YouTube動画データを用いたスマートベビーベッドアプリケーションにおける乳児検出のため、Faster R-CNNとSSDを評価している。Faster R-CNNは、より優れた局所化性能を示し、97.5%の検出精度を達成した一方、SSDは高速な推論を実現するが、重複するバウンディングボックスが増加する傾向にあり、実世界の展開におけるトレードオフを浮き彫りにしている。

ABSTRACT

The ultimate goal of a baby detection task concerns detecting the presence of a baby and other objects in a sequence of 2D images, tracking them and understanding the semantic contents of the scene. Recent advances in deep learning and computer vision offer various powerful tools in general object detection and can be applied to a baby detection task. In this paper, the Faster Region-based Convolutional Neural Network and the Single-Shot Multi-Box Detection approaches are explored. They are the two state-of-the-art object detectors based on the region proposal tactic and the multi-box tactic. The presence of a baby in the scene obtained from these detectors, tested using different pre-trained models, are discussed. This study is important since the behaviors of these detectors in a baby detection task using different pre-trained models are still not well understood. This exploratory study reveals many useful insights into the applications of these object detectors in the smart nursery domain.

研究の動機と目的

• 実世界のベビーベッド映像から乳児を検出するための最先端のオブジェクト検出器—Faster R-CNNとSSDの性能を評価すること。
• TensorFlow Detection Model Zooから取得した異なる事前学習済みモデルが、検出精度および局所化品質に与える影響を分析すること。
• スマートベビーベッドシステムにおけるアクティビティ認識やシーン理解といった上位レベルのタスクへのオブジェクト検出の橋渡しに直面する課題を特定すること。
• 照明、遮蔽、スケール変化などの実世界の変動に対する検出器の挙動に関する実証的知見を提供すること。

提案手法

• Faster R-CNNおよびSSDの事前学習済みモデルをTensorFlow Detection Model Zooから活用し、YouTubeから得た2次元動画フレームにおける乳児検出を実施した。
• SSDでは、重複するバウンディングボックスを低減するために非最大抑制（NMS）を適用したが、Faster R-CNNは候補領域を生成するために領域提案ネットワーク（RPN）に依存した。
• バウンディングボックスの重なり、分類精度、局所化品質といった指標を用いて、自作のベビーベッドシーンデータセット上で検出性能を評価した。
• 知識ベース型およびエンコーダデコーダフレームワークを用いて、検出とシーン理解のギャップを分析し、意味的シーン記述の可能性を探った。
• 時間的連続性制約およびアンサンブル学習を活用した今後の拡張策を検討し、検出の安定性と精度を向上させる可能性を探った。
• パイプライン統合の可能性を評価するため、アクティビティ認識のベースラインとして、方向付き光流のヒストグラム（HOOF）を用いた。

実験結果

リサーチクエスチョン

• RQ1 Faster R-CNNとSSDは、照明、遮蔽、スケール変化といった実世界の視覚的変動下で、乳児をどの程度の精度で検出できるか？
• RQ2 スマートベビーベッド監視の文脈において、Faster R-CNNとSSDの間で、検出精度と推論速度のトレードオフはどのように現れるか？
• RQ3 バウンディングボックスの品質と重複度が、トラッキングやアクティビティ認識といった後続タスクに及ぼす影響はどの程度か？
• RQ4 乳児監視シナリオにおいて、オブジェクト検出を完全なシーン理解に拡張するにあたり、主な制限要因は何か？
• RQ5 アンサンブル学習および時間的制約を活用することで、動画フレーム間での検出信頼性をどのように向上させられるか？

主な発見

• Faster R-CNNは、97.5%という最高の検出精度を達成した一方、SSDは86.1%にとどまった。
• SSDは、複数の乳児インスタンスが存在する領域で、NMSによる抑制に依存しているため、より多くの重複するバウンディングボックスを生成した。
• Faster R-CNNは、SSDと比較して、より正確で重複の少ないバウンディングボックスを生成した。
• 本研究では、正確な検出だけではアクティビティ認識に不十分であり、追加のIDトラッキングおよび動き記述子の統合が必要であると判明した。
• 検出とシーン理解のギャップは依然として大きく、知識ベース型およびエンコーダデコーダフレームワークは、それぞれ異なるが不完全なアプローチを提供している。
• アンサンブル学習および時間的連続性制約を活用することで、動画フレーム全体にわたる検出の安定性向上が可能である。