[論文レビュー] KIT MOMA: A Mobile Machines Dataset

Yusheng Xiang, Hongzhe Wang+5 more|arXiv (Cornell University)|Jul 8, 2020

Optimization and Search Problems参考文献 50被引用数 5

ひとこと要約

KIT MOMA は、建設現場の閉じた環境における自律走行のためのオブジェクト検出アルゴリズムのベンチマーク化を可能にする、大規模で公開済みの視覚データセットである。5,663枚の実世界の画像を含み、8種類の一般的なモバイル建設機械（エクcavator、ホイールローダー、ブルドーザーなど）を地上レベルの固定カメラから収集した。このデータセットで訓練された YOLO v3 は、全体で平均平均精度（mAP）85%、分布外のインスタンスを除いた場合に90.7%を達成し、閉じた現場環境における自律移動建設機械の検出において優れた性能を示した。

ABSTRACT

Mobile machines typically working in a closed site, have a high potential to utilize autonomous driving technology. However, vigorously thriving development and innovation are happening mostly in the area of passenger cars. In contrast, although there are also many research pieces about autonomous driving or working in mobile machines, a consensus about the SOTA solution is still not achieved. We believe that the most urgent problem that should be solved is the absence of a public and challenging visual dataset, which makes the results from different researches comparable. To address the problem, we publish the KIT MOMA dataset, including eight classes of commonly used mobile machines, which can be used as a benchmark to evaluate the SOTA algorithms to detect mobile construction machines. The view of the gathered images is outside of the mobile machines since we believe fixed cameras on the ground are more suitable if all the interesting machines are working in a closed site. Most of the images in KIT MOMA are in a real scene, whereas some of the images are from the official website of top construction machine companies. Also, we have evaluated the performance of YOLO v3 on our dataset, indicating that the SOTA computer vision algorithms already show an excellent performance for detecting the mobile machines in a specific working site. Together with the dataset, we also upload the trained weights, which can be directly used by engineers from the construction machine industry. The dataset, trained weights, and updates can be found on our Github. Moreover, the demo can be found on our Youtube.

研究の動機と目的

• 自律走行研究の進展を妨げる、公開済みで高品質なモバイル建設機械用視覚データセットの不足に対処すること。
• 実世界の建設現場シナリオにおけるオブジェクト検出アルゴリズムの評価のための標準化されたベンチマークを構築すること。
• アノテート済みデータと事前学習モデルの提供により、コンピュータビジョン技術の建設業界への導入を支援すること。
• オクルージョン、ポーズの多様性、複雑な背景を含む多様な実世界画像を通じて、検出モデルのロバスト性を向上させること。

提案手法

• 実際の建設現場および公式メーカーのウェブサイトから5,663枚の画像を収集し、自律走行の実状を反映する外部で地上レベルの視点に焦点を当てた。
• 8クラス（例：エクcavator、ホイールローダー、ブルドーザー）の合計19,977個のオブジェクトインスタンスを、標準的なCVパイプラインとの互換性を持つPASCAL VOCフォーマットでアノテートした。
• YOLO v3 をこのデータセットで訓練し、最先端の性能を評価。一般および現場固有のテストセットの両方で高いmAPを達成した。
• モデルの失敗事例（特にホイールローダーの誤検出）を特定。視覚的特徴の類似性が原因で、元の訓練データに存在しなかった要因を特定。
• 誤分類されたサンプルを用いた再訓練により、精度を向上。
• GitHub および YouTube に事前学習済みモデルの重みとコードを公開し、即時の産業利用と再現性を確保。
• 将来の拡張として、ピクセルレベルのセマンティックセグメンテーションとレアポーズ（埋蔵状態や極端なポーズ）の追加を計画。これにより、モデルの一般化能力をさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 公開済みの実世界データセットは、モバイル建設機械のオブジェクト検出研究における比較可能性と再現性を顕著に向上させ得るか？
• RQ2 YOLO v3 のような既存の最先端オブジェクト検出モデルは、実際の建設現場環境における多様なモバイル機械に特化したデータセット上で、どの程度の性能を示すか？
• RQ3 現在の検出器がモバイル機械に適用された際の主な失敗モードは何か？また、局所的なデータ拡張によって是正可能か？
• RQ4 トレーニング時に見られなかった分布外のインスタンスでテストした場合、モデルの性能はどの程度低下するか？
• RQ5 小規模な現場固有のサブセットで微調整された事前学習モデルは、制御された環境下でのレベル4自律走行に高い精度を達成できるか？

主な発見

• YOLO v3 は、KIT MOMA データセット全体で平均平均精度（mAP）85%を達成し、多様な建設機械クラスにわたる優れた一般化性能を示した。
• 分布内テスト画像（予期しないモバイル機械を除く）に限定した場合、mAPは90.7%に上昇し、閉じた現場におけるレベル4自律走行の準備が整っていることを示した。
• ホイールローダークラスでは、再訓練後も最も大きな性能低下（AP ~0.6）を示した。主な要因は、前方を向いたバケットを持つエクcavator や大型ホイールを持つトラックと視覚的特徴が類似しているための誤検出であった。
• 誤検出は、ホイールサイズやシャベルの向きといった特徴の類似性に起因し、元の訓練データにはそのような特徴が欠落していた。
• 誤分類されたサンプルを再訓練に組み込むことで、ホイールローダーのAPが顕著に向上した。これは、小さなターゲットデータ追加が、検出の主要な失敗要因を是正可能であることを示している。
• このデータセットにより、最小限の微調整で高精度な検出が可能である。これは、現場固有のデータで微調整された事前学習モデルが、実運用可能な性能を達成できることを示唆している。