[論文レビュー] LARD -- Landing Approach Runway Detection -- Dataset for Vision Based Landing

Mélanie Ducoffe, Maxime Carrere+5 more|arXiv (Cornell University)|Apr 5, 2023

Advanced Neural Network Applications被引用数 7

ひとこと要約

本論文は、自動着陸における航空機のランウェイ検出を目的とした、高品質な合成および実際の空中画像からなるオープンソースデータセット「LARD」を紹介する。独自開発のジェネレータを用い、Google Earth Studioと幾何的投影行列を活用することで、外部および内部カメラ行列を用いてランウェイの隅を自動でアノテート可能となり、ラベル付けコストを顕著に削減するとともに、多様な環境や照明条件下でも現実的で検出タスクを支援する。

ABSTRACT

As the interest in autonomous systems continues to grow, one of the major challenges is collecting sufficient and representative real-world data. Despite the strong practical and commercial interest in autonomous landing systems in the aerospace field, there is a lack of open-source datasets of aerial images. To address this issue, we present a dataset-lard-of high-quality aerial images for the task of runway detection during approach and landing phases. Most of the dataset is composed of synthetic images but we also provide manually labelled images from real landing footages, to extend the detection task to a more realistic setting. In addition, we offer the generator which can produce such synthetic front-view images and enables automatic annotation of the runway corners through geometric transformations. This dataset paves the way for further research such as the analysis of dataset quality or the development of models to cope with the detection tasks. Find data, code and more up-to-date information at https://github.com/deel-ai/LARD

研究の動機と目的

• 自律飛行機着陸におけるビジュアルベースのランウェイ検出のためのオープンで高品質なデータセットが不足している問題に対処すること。
• 手動ラベル付けコストを低減するために、スケーラブルで自動アノテーションパイプラインを合成空中画像用に開発すること。
• Google Earth Studioからの合成画像と手動でアノテートされた実際の着陸映像を組み合わせることで、より現実的でモデルの汎化性能を向上させる。
• 異なる空港、時間帯、環境設定の下で、深層学習を用いたランウェイ検出の研究を可能にすること。
• 正確で自動アノテートが可能な再利用可能なオープンソースジェネレータを提供すること、以て新たなランウェイ画像を生成できるようにすること。

提案手法

• データセットは、Google Earth Studioに基づく合成画像ジェネレータを用いて構築され、高精細なランウェイ画像を提供する。
• ジェネレータはランウェイの隅のWGS84座標とカメラポーズ（ピッチ、ロール、ヨー、位置）を用いて、現実的な空中ビューをシミュレートする。
• 外部および内部カメラ行列を適用して、3次元のランウェイの隅を2次元画像座標に投影し、自動アノテーションを実現する。
• 内部行列は、焦点距離、光学中心、視野角を用いて定義され、ユーザー指定の画像サイズとカメラパラメータから導出される。
• 外部行列は、カメラの回転（ピッチ、ロール、ヨー）と並進（目的点とスラント距離から）から計算される。
• パイプラインは、一貫性があり正確なアノテーションを備えた無限の画像生成を可能とし、ランウェイ検出モデルのスケーラブルなベンチマークを実現する。

実験結果

リサーチクエスチョン

• RQ1 自動幾何的アノテーションを備えた合成画像ジェネレータは、自律飛行着陸におけるランウェイ検出に適した現実的で多様な空中画像を生成できるか？
• RQ2 合成画像と手動でアノテートされた実際の着陸映像を組み合わせることで、ランウェイ検出モデルの現実性と頑健性はどの程度向上するか？
• RQ3 投影行列を用いた自動アノテーションは、ラベル付けコストをどの程度削減できるか、同時にアノテーションの正確性を維持できるか？
• RQ4 都市部と農村部、時間帯の違いといった環境要因の変動が、合成データセットにおけるランウェイ検出性能に与える影響は何か？
• RQ5 提案されたデータセットとジェネレータフレームワークは、ランウェイ以外の空中オブジェクト検出タスクへも拡張可能か？

主な発見

• LARDデータセットには103枚の手動でアノテートされた実際の着陸画像に加え、Google Earth Studioから生成された多数の合成画像が含まれており、多様な学習シナリオを可能にしている。
• 合成画像ジェネレータは、実際のフライト映像に類似した高品質な正面視のランウェイ画像を生成しており、視覚的比較によってその類似性が裏付けられている。
• 外部および内部カメラ行列による自動アノテーションにより、生成されたすべての画像において正確でスケーラブルなランウェイの隅のラベル付けが保証される。
• ジェネレータは、新しいランウェイやカメラポーズを備えた新しい画像のオンデマンド生成を可能とし、データ収集およびラベル付けコストを顕著に削減する。
• このデータセットは、異なる空港、照明、視点角度といった可変な条件下での深層学習モデルのランウェイ検出ベンチマークをサポートする。
• 実際の映像と合成データの統合により、モデルの汎化性能が向上し、限られた実データ量にもかかわらず、実世界での性能評価が可能になる。