[논문 리뷰] LARD -- Landing Approach Runway Detection -- Dataset for Vision Based Landing

Mélanie Ducoffe, Maxime Carrere외 5명|arXiv (Cornell University)|2023. 04. 05.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 항공기 착륙 접근 과정에서 시각 기반 런웨이 탐지에 사용할 수 있는 고품질의 합성 및 실재 공중 영상으로 구성된 오픈소스 데이터셋인 LARD를 소개한다. Google Earth Studio와 기하학적 투영 행렬을 활용하는 맞춤형 생성기 덕분에 외부 및 내부 카메라 행렬을 이용해 런웨이 모서리를 자동으로 주석 처리할 수 있으며, 이는 레이블링 비용을 크게 감소시키면서도 다양한 환경과 조명 조건에서 현실적인 탐지 작업을 지원한다.

ABSTRACT

As the interest in autonomous systems continues to grow, one of the major challenges is collecting sufficient and representative real-world data. Despite the strong practical and commercial interest in autonomous landing systems in the aerospace field, there is a lack of open-source datasets of aerial images. To address this issue, we present a dataset-lard-of high-quality aerial images for the task of runway detection during approach and landing phases. Most of the dataset is composed of synthetic images but we also provide manually labelled images from real landing footages, to extend the detection task to a more realistic setting. In addition, we offer the generator which can produce such synthetic front-view images and enables automatic annotation of the runway corners through geometric transformations. This dataset paves the way for further research such as the analysis of dataset quality or the development of models to cope with the detection tasks. Find data, code and more up-to-date information at https://github.com/deel-ai/LARD

연구 동기 및 목표

• 자율 항공기 착륙을 위한 시각 기반 런웨이 탐지에 대한 오픈소스이자 고품질 데이터셋의 부족을 해결하기 위해.
• 수동 레이블링 비용을 줄이기 위해 합성 공중 영상에 대한 확장 가능한 자동 주석 처리 파이프라인을 개발하기 위해.
• Google Earth Studio에서 생성한 합성 영상과 수동으로 주석 처리된 실재 착륙 영상의 조합을 통해 현실감 있는 모델 일반화를 향상시키기 위해.
• 다양한 공항, 일출/일몰 시간대, 환경 설정 등 변수 조건 하에서 딥러닝을 통한 런웨이 탐지 연구를 가능하게 하기 위해.
• 정확한 자동 주석 처리를 제공하는 재사용 가능한 오픈소스 생성기로서, 새로운 런웨이 영상 생성을 위한 프레임워크를 제공하기 위해.

제안 방법

• 데이터셋은 Google Earth Studio를 기반으로 한 합성 영상 생성기를 사용하여 구성되며, 고해상도의 런웨이 영상 제공을 위해 활용된다.
• 생성기는 런웨이 모서리의 WGS84 좌표와 카메라 자세(피치, 롤, 요, 위치)를 사용하여 현실적인 공중 시야를 시뮬레이션한다.
• 외부 및 내부 카메라 행렬을 적용하여 3차원 런웨이 모서리를 2차원 이미지 좌표로 투영함으로써 자동 주석 처리를 수행한다.
• 내부 행렬은 사용자가 지정한 이미지 치수와 카메라 파arameter를 기반으로 초점 거리, 옵티컬 중심, 시야각을 정의한다.
• 외부 행렬은 카메라 회전(피치, 롤, 요를 통해)과 이동(목표 지점과 기울기 거리로부터)을 통해 계산된다.
• 이 파이프라인은 일致하고 정확한 주석 처리를 유지하면서도 무한한 수의 이미지를 생성할 수 있어, 런웨이 탐지 모델에 대한 확장 가능한 벤치마킹을 가능하게 한다.

실험 결과

연구 질문

• RQ1 기하학적 투영 행렬을 통한 자동 기하 주석 처리를 갖춘 합성 영상 생성기가 자율 착륙을 위한 런웨이 탐지에 적합한 현실적이고 다양한 공중 영상을 생성할 수 있는가?
• RQ2 합성 영상과 수동 주석 처리된 실재 착륙 영상의 조합이 런웨이 탐지 모델의 현실감과 내구성에 어떤 영향을 미치는가?
• RQ3 투영 행렬을 통한 자동 주석 처리가 레이블링 비용을 얼마나 줄일 수 있으며, 주석 정확도를 유지할 수 있는가?
• RQ4 환경 조건의 변화(도시 대비 농촌, 시간대 등)가 합성 데이터셋에서 런웨이 탐지 성능에 어떤 영향을 미치는가?
• RQ5 제안된 데이터셋과 생성기 프레임워크는 런웨이를 초월한 다른 공중 객체 탐지 작업으로 확장 가능한가?

주요 결과

• LARD 데이터셋은 수동 주석 처리된 실재 착륙 영상 103장을 포함하고 있으며, Google Earth Studio에서 생성한 방대한 양의 합성 영상으로 다양한 훈련 시나리오를 가능하게 한다.
• 합성 영상 생성기는 높은 품질의 정면 시야 런웨이 영상을 생성하며, 시각적 비교를 통해 실제 비행 영상과 유사한 모습을 보여준다.
• 외부 및 내부 카메라 행렬을 통한 자동 주석 처리로 모든 생성된 영상에서 런웨이 모서리의 정확하고 확장 가능한 레이블링이 보장된다.
• 생성기는 새로운 런웨이와 카메라 자세를 가진 새로운 영상을 즉시 생성할 수 있어, 데이터 수집 및 주석 처리 비용을 크게 감소시킨다.
• 다양한 공항, 조명, 시야각 등 변수 조건 하에서 런웨이 탐지 모델의 벤치마킹을 지원한다.
• 실재 영상과 합성 데이터의 통합은 모델의 일반화 능력을 향상시키며, 제한된 실재 데이터 양에도 불구하고 실제 환경 성능 평가를 가능하게 한다.