[論文レビュー] A Spacecraft Dataset for Detection, Segmentation and Parts Recognition

Dung Anh Hoang, Bo Chen+1 more|arXiv (Cornell University)|Jun 15, 2021

Advanced Neural Network Applications参考文献 38被引用数 6

ひとこと要約

本論文は、人工衛星および宇宙ステーションの検出、インスタンスセグメンテーション、部品認識を対象とした、公開可能で最初のデータセットを紹介する。本データセットには、バウンディングボックス、インスタンスマスク、および詳細な部品レベルのアノテーションを備えた3,117枚のアノテート済み画像が含まれる。著者らは、自動ラベリングと繰り返しのヒューマンフィードバックを組み合わせたブートストラップアノテーション戦略を採用し、最先端モデルのベンチマークを実施した。その結果、地球ベースのデータセットで学習された既存のモデルは、特にアンテナのような複雑な部品において顕著に性能が劣ることが明らかになった。

ABSTRACT

Virtually all aspects of modern life depend on space technology. Thanks to the great advancement of computer vision in general and deep learning-based techniques in particular, over the decades, the world witnessed the growing use of deep learning in solving problems for space applications, such as self-driving robot, tracers, insect-like robot on cosmos and health monitoring of spacecraft. These are just some prominent examples that has advanced space industry with the help of deep learning. However, the success of deep learning models requires a lot of training data in order to have decent performance, while on the other hand, there are very limited amount of publicly available space datasets for the training of deep learning models. Currently, there is no public datasets for space-based object detection or instance segmentation, partly because manually annotating object segmentation masks is very time consuming as they require pixel-level labelling, not to mention the challenge of obtaining images from space. In this paper, we aim to fill this gap by releasing a dataset for spacecraft detection, instance segmentation and part recognition. The main contribution of this work is the development of the dataset using images of space stations and satellites, with rich annotations including bounding boxes of spacecrafts and masks to the level of object parts, which are obtained with a mixture of automatic processes and manual efforts. We also provide evaluations with state-of-the-art methods in object detection and instance segmentation as a benchmark for the dataset. The link for downloading the proposed dataset can be found on https://github.com/Yurushia1998/SatelliteDataset.

研究の動機と目的

• 宇宙航空分野におけるディーブラーニングのための、公開可能で高品質な宇宙ベースのデータセットが著しく不足しているという問題に対処すること。
• 実際の宇宙画像および合成画像を用いた、宇宙機の検出、インスタンスセグメンテーション、および詳細な部品認識に関する研究を可能にすること。
• 自動ラベリングと繰り返しのヒューマンフィードバックを組み合わせたブートストラップ戦略を用いて、アノテーションコストを低減すること。
• 宇宙特有の視覚的課題に対する最先端モデルの評価のためのベンチマークを確立すること。

提案手法

• 本データセットは、さまざまなソースから収集された3,117枚の人工衛星および宇宙ステーションの実画像および合成画像から構築された。
• ハイブリッドアノテーションパイプラインを用いる：初期の手動ラベリング（インタラクティブツールを用いて）、その後にモデルベースの粗いラベリング、さらにその後にヒューマンによる精緻化が行われる。
• ブートストラップ戦略により、事前にラベル付けされたデータを用いて、新しい画像におけるモデル予測を繰り返し改善することで、アノテーションの効率を高める。
• 標準的なトレーニングプロトコルに従い、DeepLabV3+、OCRNet、HRNet、ResNeStといった最先端のディーブラーニングモデルを本データセット上でトレーニングおよび評価する。
• トレーニング用に画像を1024×512にリサイズし、検証用に2048×1024にリサイズする。標準的な最適化手法（SGD、重み減衰）と補助ヘッドを用いて性能を向上させる。
• 評価は、全クラスおよび部品カテゴリごとのmIoUを用い、背景クラスを含む・含まないを別々に評価する。

実験結果

リサーチクエスチョン

• RQ1 最先端のセグメンテーションモデルが、Cityscapes や Pascal VOC といった標準的な地球ベースのデータセットで示す性能と比較して、宇宙機画像においてどの程度の性能を示すか？
• RQ2 自動およびセミオートメーションアノテーション技術が、宇宙物体のピクセルレベルのセグメンテーションマスク作成にかかるコストと時間をどれほど削減できるか？
• RQ3 アンテナ、太陽パネル、本体などの複雑で形状が多様な部品をセグメンテーションする上での主な課題は何か？
• RQ4 地球ベースのデータで事前学習したモデルは、微調整やドメイン適応なしで、宇宙ベースの視覚的タスクに効果的に一般化できるか？
• RQ5 背景ピクセルを含めた評価と含まない評価との間に、セグメンテーションモデルの性能にどの程度の差が生じるか？

主な発見

• 提案されたデータセットでは、ResNeSt200モデルが宇宙機セグメンテーションタスク全体でmIoU 0.790を達成し、本体部では0.767、太陽パネルでは0.878、アンテナではわずか0.640にとどまる。
• 部品セグメンテーションにおけるmIoUは、アンテナ（0.585–0.650）が本体（0.834–0.842）や太陽パネル（0.839–0.878）と比較して顕著に低く、複雑で不規則な形状の部品を識別することが困難であることを示している。
• Cityscapes や Pascal VOC といった地球ベースのデータセットで学習された最先端モデルは、それぞれ平均mIoUスコアが0.859および0.824を示し、提案された宇宙機データセットで最も性能の良いモデルのスコアを6%〜11%上回っている。
• 地球ベースと宇宙ベースのセグメンテーションタスクの性能差は顕著であり、新データセットで最も優れたモデルのmIoUは、Pascal VOCで学習されたモデルの平均mIoUの74.9%にとどまっている。
• 定性的な結果から、すべてのモデルが複雑な構成のアンテナマスクを正確に予測できていないことが確認され、定量的なmIoU結果と一致しており、ドメイン特化型のモデル設計の必要性が浮き彫りになった。
• ブートストラップアノテーション戦略は、人的労力を大幅に削減しながらも、高いアノテーション品質を維持できており、限られた人的リソースで大規模かつ詳細なアノテーションが可能なデータセットの構築に成功した。