[論文レビュー] Scene-Specific Pedestrian Detection Based on Parallel Vision

Wenwen Zhang, Kunfeng Wang+3 more|arXiv (Cornell University)|Dec 23, 2017

Advanced Neural Network Applications参考文献 4被引用数 4

ひとこと要約

本論文は、特定のシーンの仮想再構築を用いて、合成的で正確にラベル付けされた歩行者データを生成するACPベースの並列ビジョン手法を提案する。この手法により、汎用的歩行者検出器の性能を、実世界の設定において向上させることができる。拡張現実を活用して現実的で自然なシーンと歩行者の動きをシミュレートすることで、検出精度が著しく向上し、特にTown Center や Atrium のような挑戦的な環境でも顕著な改善が得られた。これは、仮想世界から得られる合成データが、実際のラベル付きデータがなくてもドメイン適応を効果的に可能にできることを示している。

ABSTRACT

As a special type of object detection, pedestrian detection in generic scenes has made a significant progress trained with large amounts of labeled training data manually. While the models trained with generic dataset work bad when they are directly used in specific scenes. With special viewpoints, flow light and backgrounds, datasets from specific scenes are much different from the datasets from generic scenes. In order to make the generic scene pedestrian detectors work well in specific scenes, the labeled data from specific scenes are needed to adapt the models to the specific scenes. While labeling the data manually spends much time and money, especially for specific scenes, each time with a new specific scene, large amounts of images must be labeled. What's more, the labeling information is not so accurate in the pixels manually and different people make different labeling information. In this paper, we propose an ACP-based method, with augmented reality's help, we build the virtual world of specific scenes, and make people walking in the virtual scenes where it is possible for them to appear to solve this problem of lacking labeled data and the results show that data from virtual world is helpful to adapt generic pedestrian detectors to specific scenes.

研究の動機と目的

• 特定の実世界シーンにおける歩行者検出のためのラベル付き学習データの不足が、汎用検出器の性能を制限する問題に対処すること。
• 新しいシーンにおける手作業によるラベル付けの高コストと一貫性の欠如を克服し、大規模でピクセル単位の正確な合成データを生成すること。
• 仮想世界シミュレーションを用いて、汎用的歩行者検出器を特定のシーンに効果的にドメイン適応させること。
• 拡張現実ベースの仮想シーンから得られる合成データが、実際のデータと同等の検出性能を向上させることを検証すること。
• 並列ビジョンの原則に従い、スケーラブルで低コストなパイプラインを構築して、シーン固有の検出器の適応を可能とすること。

提案手法

• 実世界のカメラデータと深度情報を利用して、特定のシーン（例：Town Center、Atrium、PETS 2009）の3次元幾何構造を再構築する。
• 3次元人体モデルと現実的な歩行行動を用いて、3次元仮想シーン内での歩行者の動きをシミュレートする。
• ボーンベースの3次元レンダリングを用いて、複数の視点から合成動画シーケンスをレンダリングし、正確なバウンディングボックスラベルを備えた画像を生成する。
• レンダリングされた画像とその対応する真値ラベルを、歩行者検出器の学習データとして使用する。
• DPMおよびFaster R-CNNモデルを仮想シーンからの合成データで学習させ、Town Center、Atrium、PETS 2009の実際のテストセットに対して評価する。
• ACP（人工社会、計算実験、並列実行）理論を活用して、仮想世界で検出パイプラインをシミュレートおよび最適化する。

実験結果

リサーチクエスチョン

• RQ1 特定のシーンの仮想再構築から生成された合成データが、汎用的歩行者検出器の性能を向上させることができるか？
• RQ2 仮想シーンからの合成データで学習したモデルの性能は、Pascal VOC 2007などの汎用データセットで学習したモデルと比較して、シーン固有の検出タスクにおいてどのように異なるか？
• RQ3 仮想シーンからの合成データが、汎用的シーンと特定のシーンとの間のドメインギャップをどの程度縮小するか？
• RQ4 仮想世界シミュレーションは、複雑またはごみだらけのシーンにおいても、手作業によるラベル付けと同等のラベル精度を達成できるか？
• RQ5 仮想シーンの使用により、新しい展開環境における高コストな手作業によるラベル付けの必要性が排除できるか？

主な発見

• Town Centerの仮想シーンからの合成データで学習したFaster R-CNNモデルは、mAPが79.2%に達した。一方、Pascal VOC 2007データで学習した場合のmAPは45.2%であり、34ポイントの向上を示した。
• Atriumデータセットでは、合成データによりmAPが47.5%（Pascal VOC）から67%に上昇し、12.5ポイントの向上を達成した。これは、強力なドメイン適応能力を示している。
• PETS 2009データセットでは、歩行者の外観がPascal VOCに似ているため、改善は小さかった（0.9ポイント）。これは、合成データがドメインギャップが大きい状況において最も効果的であることを示している。
• DPMモデルについても顕著な向上が見られた：Town CenterではmAPが30.8%（Pascal VOC）から34.2%に、Atriumでは45.4%から56.2%に上昇し、モデル間で一貫した改善が確認された。
• 精度-再現率曲線の結果から、合成データはすべての3つの評価シーンにおいて、特に複雑でごみだらけの環境で、汎用データを常に上回ることが確認された。
• 結果から、正確な3次元レンダリングとラベル付けを備えた仮想世界シミュレーションが、ドメイン適応のための代替的でスケーラブルな手法として有効であることが検証された。