[논문 리뷰] FOD-A: A Dataset for Foreign Object Debris in Airports

Travis Munyer, Pei-Chi Huang외 2명|arXiv (Cornell University)|2021. 10. 06.

Advanced Neural Network Applications참고 문헌 15인용 수 14

한 줄 요약

이 논문은 외부 물체 잔해(FOD)가 있는 공항 환경을 위한 공개 가능하고 대규모의 이미지 데이터셋인 FOD-A를 소개한다. 이 데이터셋은 31개의 물체 카테고리와 30,000개 이상의 바운딩 박스 및 환경 조건(조도 및 날씨)으로 구성되어 있으며, 정교한 객체 검출 및 환경 분류를 지원하도록 설계되었다. YOLOv3 및 SSD와 같은 최신 모델들에 대해 높은 도전 과제를 제시하며, 검증 데이터에서 SSD는 정확도 71.81%와 평균 IOU 68.05%를 기록하였다.

ABSTRACT

Foreign Object Debris (FOD) detection has attracted increased attention in the area of machine learning and computer vision. However, a robust and publicly available image dataset for FOD has not been initialized. To this end, this paper introduces an image dataset of FOD, named FOD in Airports (FOD-A). FOD-A object categories have been selected based on guidance from prior documentation and related research by the Federal Aviation Administration (FAA). In addition to the primary annotations of bounding boxes for object detection, FOD-A provides labeled environmental conditions. As such, each annotation instance is further categorized into three light level categories (bright, dim, and dark) and two weather categories (dry and wet). Currently, FOD-A has released 31 object categories and over 30,000 annotation instances. This paper presents the creation methodology, discusses the publicly available dataset extension process, and demonstrates the practicality of FOD-A with widely used machine learning models for object detection.

연구 동기 및 목표

• 공항 환경에서 외부 물체 잔해(FOD) 검출을 위한 공개 가능하고 종합적이며 현실적인 데이터셋의 부족을 해결하기 위해.
• 다양한 조도 및 날씨 조건을 반영하여 실제 공항 환경을 반영하는 확장 가능하고 확장 가능한 이미지 데이터셋을 구축하기 위해.
• FOD 검출을 위한 강력한 머신러닝 및 컴퓨터 비전 모델의 개발 및 벤치마킹을 지원하기 위해.
• 일광 조도(밝음/어두움/어두운) 및 날씨(건조/습윤)와 같은 환경 annotation을 제공하여 모델의 일반화 능력 및 실제 적용 가능성을 향상시키기 위해.
• 표준화된 공개 가능 데이터셋과 문서화된 확장 절차를 제공하여 향후 자동 FOD 검출 연구의 기반을 마련하기 위해.

제안 방법

• FOD-A 데이터셋은 다양한 조도 및 날씨 조건에서 수집한 실제 공항 영상 자료를 바탕으로 제작되었으며, 실제 운영 환경을 시뮬레이션하기 위해 설계되었다.
• 물체 카테고리는 연방항공국(FAA)의 문서 및 이전 연구를 기반으로 선정되었으며, 도구, 수하물, 잔해, 항공기 부품 등 31종의 일반적인 FOD 유형을 포함한다.
• 각 이미지 인스턴스에는 객체 검출을 위한 바운딩 박스 annotation과 조도 수준(밝음, 어두움, 어두운) 및 날씨(건조, 습윤)에 대한 카테고리 annotation이 포함되어 있다.
• 향후 새로운 이미지 및 물체 카테고리의 추가를 가능하게 하면서도 일관성과 annotation 품질을 유지할 수 있도록 확장 가능한 데이터 관리 프레임워크를 개발하였다.
• 검증 데이터에서 표준 객체 검출 모델(YOLOv3 및 SSD)을 사용하여 성능을 평가하여 검출 정확도 및 정위치(평균 IOU)를 분석하였다.
• 전이 학습 기반의 MobileNetV2을 활용한 이진 분류 모델을 학습시켜 날씨 조건(습윤 대비 건조)을 분류함으로써 환경 annotation의 유용성을 검증하였다.

실험 결과

연구 질문

• RQ1 어떻게 공항 환경에서 FOD를 위한 종합적이고 공개 가능한 이미지 데이터셋을 체계적으로 구축하고 유지 관리할 수 있는가?
• RQ2 조도 및 날씨 조건과 같은 환경 조건의 포함이 FOD 검출 모델의 강건성에 어느 정도 기여하는가?
• RQ3 최신 객체 검출 모델들은 일반 목적용 데이터셋과 비교해 볼 때, FOD 전용으로 설계된 데이터셋에서 어떻게 성능을 발휘하는가?
• RQ4 조도 및 날씨와 같은 환경 annotation은 FOD 검출 파이프라인 내 보조 분류 작업에 효과적으로 활용될 수 있는가?
• RQ5 현대 딥러닝 모델을 사용해 실제 공항 전용 데이터셋에서 FOD 검출을 실현 가능한지 실용성과 도전 과제 수준은 어떠한가?

주요 결과

• FOD-A 데이터셋은 31개의 물체 카테고리와 30,000개 이상의 annotation 인스턴스를 포함하며, 이전의 FOD 데이터셋에 비해 규모와 다양성 측면에서 크게 발전하였다.
• YOLOv3는 FOD-A 검증 세트에서 분류 정확도 12.42%와 평균 IOU 47.58%를 기록하였으며, 정위치 능력은 상당히 우수한 반면 분류 성능은 열악한 것으로 나타났다.
• SSD는 FOD-A 데이터셋에서 YOLOv3를 초월하여 분류 정확도 71.81%와 평균 IOU 68.05%를 기록하여 더 우수한 일반화 능력을 보였다.
• MobileNetV2 기반의 이진 날씨 분류 모델은 습윤과 건조 조건을 효과적으로 구분하는 높은 정확도를 기록하여 환경 annotation의 실용성을 확인하였다.
• 조도 및 날씨 조건의 복잡성과 다양성으로 인해 이 데이터셋은 도전적인 벤치마크로 작용하며, 향후 FOD 검출 알고리즘의 향상이 필수적임을 시사한다.
• 데이터셋은 확장 가능하도록 설계되었으며, 향후 업데이트 및 확장 절차가 문서화되어 있어 연구 공동체의 장기적 이용 가능성을 보장한다.