[論文レビュー] Comparing Apples and Oranges: Off-Road Pedestrian Detection on the NREC Agricultural Person-Detection Dataset

Zachary Pezzementi, Trenton Tabor+6 more|arXiv (Cornell University)|Jul 22, 2017

Video Surveillance and Tracking Methods参考文献 45被引用数 8

ひとこと要約

本論文では、リンゴ園およびオレンジ園のトラクターおよびピックアップトラックから収集された、76,000枚のラベル付き人物画像と19,000枚の人物なし画像を含む大規模なステレオ動画ベンチマーク「NREC農業用人物検出データセット」を紹介する。都市部の歩行者検出モデルが、閉塞、非標準的なポーズ、複雑な背景の影響により農業的オフロード環境では失敗することを示し、文脈的画像特徴を活用することで性能を向上させる新しいCNNベースの手法を提案する。

ABSTRACT

Person detection from vehicles has made rapid progress recently with the advent of multiple highquality datasets of urban and highway driving, yet no large-scale benchmark is available for the same problem in off-road or agricultural environments. Here we present the NREC Agricultural Person-Detection Dataset to spur research in these environments. It consists of labeled stereo video of people in orange and apple orchards taken from two perception platforms (a tractor and a pickup truck), along with vehicle position data from RTK GPS. We define a benchmark on part of the dataset that combines a total of 76k labeled person images and 19k sampled person-free images. The dataset highlights several key challenges of the domain, including varying environment, substantial occlusion by vegetation, people in motion and in non-standard poses, and people seen from a variety of distances; meta-data are included to allow targeted evaluation of each of these effects. Finally, we present baseline detection performance results for three leading approaches from urban pedestrian detection and our own convolutional neural network approach that benefits from the incorporation of additional image context. We show that the success of existing approaches on urban data does not transfer directly to this domain.

研究の動機と目的

• 農業環境におけるオフロード歩行者検出のための大規模なベンチマークの不足に対処すること。
• 密集した植生による閉塞、非標準的な人体ポーズ、変動する照明といった、都市部の検出モデルへの転送を妨げる農業的環境の独自の課題を明らかにすること。
• ステレオ動画とRTK GPSデータを用いた標準化されたベンチマークを確立し、果樹園における人物検出の評価を可能にすること。
• 都市部ベースの検出手法が農業的オフロードドメインにどれほど転送可能かを評価すること。
• 閉塞やごみまみれのシーンにおいても強靭性を高めるために文脈的画像特徴を組み込む新しい畳み込みニューラルネットワーク手法の開発と検証すること。

提案手法

• データセットは、20cm基準距離を有するステレオカメラとRTK GPSを装備した2つのセンシングプラットフォーム（トラクターとピックアップトラック）を用いて収集された。
• ラベル付きデータには、リンゴ園とオレンジ園の2つの果樹園環境からの76,000件の人物インスタンスと19,000枚の人物なし画像が含まれており、閉塞、ポーズ、距離の影響を特定的に評価できるようにメタデータが付与されている。
• カメラの内部パrameterと補正は、ロボットアームを用いたキャリブレーションと同時最適化により実施され、有効ピクセル数を最大化するように調整された。
• 車両位置データは、測定済みの取り付けジオメトリと組み合わせて補間され、カメラフレームに変換され、KITTIオドメトリ形式で公開された。
• ベースラインベンチマークは、主カメラのラベル付き画像のみを用いて構築され、単一画像検出手法の評価が可能になった。
• 閉塞やごみまみれの農業的シーンにおいても強靭性を高めるために、文脈的画像特徴を明示的に組み込んだ新しいCNNベースの検出モデルが訓練された。

実験結果

リサーチクエスチョン

• RQ1 最先端の都市部歩行者検出モデルは、オフロード農業環境にどの程度一般化可能か？
• RQ2 植生による閉塞、非標準的な人体ポーズ、変動する視線距離が果樹園環境における検出性能に与える影響は何か？
• RQ3 文脈に配慮したディーパーニューラルネットワークモデルは、標準的な都市部ベースの検出器と比較して、複雑な農業的シーンにおける検出精度を向上させられるか？
• RQ4 GPSおよびステレオビジョンからの時間的および幾何的事前知識の組み込みが、オフロード条件下での検出の強靭性をどのように向上させるか？
• RQ5 リンゴ園とオレンジ園における検出性能にどのような差が生じるか。また、これら類似したが異なる環境間での知識転送はどの程度達成可能か？

主な発見

• 既存の都市部歩行者検出モデルは、農業的オフロード環境では顕著に性能が低下しており、都市部からオフロードドメインへの転送性が制限されていることが示された。
• NREC農業用人物検出データセットは、葉の広範な閉塞、動的な植生の動き、都市データセットにあまり含まれない多様な人体ポーズといった顕著な課題を明らかにした。
• 文脈的画像特徴を明示的に活用する新しいCNNベースの検出モデルは、特に閉塞やごみまみれのシーンにおいて、標準的な都市部モデルよりも高い検出精度を達成した。
• ベンチマークは、リンゴ園とオレンジ園における性能に顕著な差が生じることを示しており、検出の強靭性に影響を与えるドメイン固有の特性が存在することを示唆している。
• RTK GPSおよびステレオビジョンデータの組み込みにより、より良い局所化と時間的モデリングが可能となり、動画ベースのシステムにおける検出性能向上に活用できる。
• 人物を含まない未ラベル付きログを完全に公開しており、コアベンチマークを超えた視覚オドメトリ、モーション推定、動画ベース検出に関する研究を可能にしている。