[論文レビュー] The Problem of Fragmented Occlusion in Object Detection

Julian Pegoraro, Roman Pflugfelder|arXiv (Cornell University)|Apr 27, 2020

Advanced Neural Network Applications参考文献 10被引用数 7

ひとこと要約

この論文は、緑の境界監視で一般的に見られる、物体検出における断片的遮蔽の課題に取り組む。COCOデータセットに人工的な木々を追加して葉の遮蔽をシミュレートするデータ拡張手法を採用し、そのデータでMask R-CNNを訓練することで、断片的に遮蔽された人物の検出性能が向上することが示された。特に軽度から中程度の遮蔽レベルで顕著な改善が得られたが、重度の遮蔽状況ではボクシングボックスのラベル付けが不十分であることが判明した。

ABSTRACT

Object detection in natural environments is still a very challenging task, even though deep learning has brought a tremendous improvement in performance over the last years. A fundamental problem of object detection based on deep learning is that neither the training data nor the suggested models are intended for the challenge of fragmented occlusion. Fragmented occlusion is much more challenging than ordinary partial occlusion and occurs frequently in natural environments such as forests. A motivating example of fragmented occlusion is object detection through foliage which is an essential requirement in green border surveillance. This paper presents an analysis of state-of-the-art detectors with imagery of green borders and proposes to train Mask R-CNN on new training data which captures explicitly the problem of fragmented occlusion. The results show clear improvements of Mask R-CNN with this new training strategy (also against other detectors) for data showing slight fragmented occlusion.

研究の動機と目的

• 断片的遮蔽が物体検出に与える課題、特に緑の境界監視環境における課題を調査すること。
• 最先端の検出器が断片的遮蔽において失敗することを特定し、これは部分的遮蔽とは根本的に異なること。
• 実際の幹と枝を用いて生成した人工的な木々をCOCO画像に重ねることで、断片的遮蔽を明示的にモデル化するデータ拡張戦略を提案すること。
• IoUや複数検出の限界を補うために、断片的遮蔽状況下でのTP、FP、TNをより正確に評価できる新たな評価指標を開発すること。
• 拡張データで微調整したMask R-CNNが、断片的に遮蔽された人物の検出性能を向上させることを実証すること。特に軽度から中程度の遮蔽レベルで顕著な改善が得られた。

提案手法

• 3本の森林映像から18,360フレームの新規データセットを作成し、4段階の遮蔽レベルに応じて33,933個のバウンディングボックスを手動でラベル付けした。
• 特に人物に対して、実際の幹と枝を用いて生成した人工的な木々をCOCO画像の前面に重ねることで、Microsoft COCOデータセットを拡張した。
• COOのピクセル単位のセグメンテーションマスクを活用し、拡張処理中にインスタンスレベルのアノテーションを保持することで、マスクの整合性を確保した。
• バックボーンにInception v2を用いたMask R-CNNを、拡張データセット上で訓練した。ただし、人間インスタンスのみに焦点を当てた。
• 断片的遮蔽下でのTP、FP、TNの評価をより正確に行うために、正例としての最大非重複領域を真値と比較して算出する新たな評価指標を設計した。
• 新しい指標に基づく再現率-適合率（ROC）曲線を用いて検出器を評価し、IoUが低く、複数の検出が生じる状況下でも意味のある比較が可能になった。

実験結果

リサーチクエスチョン

• RQ1 最先端の物体検出器は、断片的遮蔽下、特に緑の境界監視環境下でどのように性能を発揮するか？
• RQ2 人工的な葉物を用いたデータ拡張によって、物体検出器の断片的遮蔽に対するロバスト性は向上するか？
• RQ3 なぜ標準的な評価指標（例：IoU）は断片的遮蔽状況で失敗するのか？ また、検出性能をより適切に反映できる代替評価戦略は何か？
• RQ4 高レベルの断片的遮蔽が生じるデータのラベリングにおいて、ボクシングボックスのアノテーションはどの程度有効性を保てるか？
• RQ5 空間的・構造的情報が濃い葉に覆われて著しく劣化した状況下で、現在の検出モデルにどのような限界があるか？

主な発見

• 拡張COCOデータセットで微調整したMask R-CNNは、断片的に遮蔽された人物の検出性能に顕著な向上を示した。特にL₁およびL₂の遮蔽レベルで顕著な改善が得られた。
• 新規評価指標は、部分的検出によってIoUが約0.2にまで低下しても、真の陽性を正しく同定できた。標準的な指標ではこの状況を偽陰性と分類してしまう。
• 断片的遮蔽下では、同一人物の複数検出（例：頭部と体幹）が一般的に発生するため、標準的な1対1マッチング手法は信頼性に欠ける。
• 重度の遮蔽（L₃およびL₄）では、物体の範囲を信頼性を持って定義できなくなるため、ボクシングボックスのラベリングは非現実的になる。
• 改善は見られたが、すべての検出器が中程度（L₂）および重度（L₃）の遮蔽に対して依然として困難を抱えていることから、現在のモデルは構造的・空間的劣化に対して十分な不変性を備えていないことが示された。
• 本研究は、現在のデータ分布とアノテーションの枠組みが断片的遮蔽を適切にモデル化するには不十分であることを明らかにした。これにより、新たな表現および評価フレームワークの構築が求められる。