[논문 리뷰] Image Segmentation to Identify Safe Landing Zones for Unmanned Aerial Vehicles

Joe Kinahan, Alan F. Smeaton|arXiv (Cornell University)|2021. 11. 29.

Robotic Path Planning Algorithms인용 수 5

한 줄 요약

이 논문은 드론의 실시간 안전 착륙 지점 식별을 위해 단일 RGB 카메라 이미지를 사용하는 경량 의미적 이미지 분할 모델을 제안한다. 이 모델은 차량 내 에너지 소비를 최소화한다. 모델은 잘린 프레임에서 효율적인 추론을 통해 다양한 환경에서 높은 정확도를 달성한다. 특히 공원 환경에서는 뛰어난 성능을 보이며, 훈련되지 않은 환경인 '와이드 웨스트' 장면에서는 새로운 무늬와 잘못 분류된 屋根으로 인해 성능이 떨어진다.

ABSTRACT

There is a marked increase in delivery services in urban areas, and with Jeff Bezos claiming that 86% of the orders that Amazon ships weigh less than 5 lbs, the time is ripe for investigation into economical methods of automating the final stage of the delivery process. With the advent of semi-autonomous drone delivery services, such as Irish startup `Manna', and Malta's `Skymax', the final step of the delivery journey remains the most difficult to automate. This paper investigates the use of simple images captured by a single RGB camera on a UAV to distinguish between safe and unsafe landing zones. We investigate semantic image segmentation frameworks as a way to identify safe landing zones and demonstrate the accuracy of lightweight models that minimise the number of sensors needed. By working with images rather than video we reduce the amount of energy needed to identify safe landing zones for a drone, without the need for human intervention.

연구 동기 및 목표

• 단일 RGB 카메라만을 사용하여 배달 드론의 안전 착륙 지점을 실시간으로 식별할 수 있는 에너지 효율적이고 차량 내 구현 가능한 방법을 개발한다.
• GPS 및 외부 데이터에 대한 의존도를 줄이기 위해 실시간으로 현장에서 착륙 지점의 적합성을 평가할 수 있도록 한다.
• 자원 제약이 있는 UAV에 배포하기 위해 경량 딥러닝 모델을 통해 센서 수와 계산 부담을 최소화한다.
• 모의 착륙 영상으로 다양한 실제와 유사한 환경에서 모델 성능을 평가한다.
• 모델 정확도를 떨어뜨리는 환경적 요인을 특정하고 데이터 증강 전략을 제안한다.

제안 방법

• 저자는 다양한 착륙 환경의 합성 RGB 이미지로 훈련된 경량 U-Net 기반의 CNN 아키텍처를 사용하여 의미적 분할을 수행한다.
• 추론 중 계산 부담을 줄이기 위해 이미지를 중심 영역에 집중하는 방식으로 잘라낸다.
• 다중 클래스 분할 접근법을 통해 픽셀을 '안전'(잔디, 포장도로 등) 또는 '비안전'(장애물, 물, 屋根 등)으로 분류한다.
• 모의 환경에서 하향 방향 카메라로 촬영한 영상 시퀀스를 프레임 단위로 추론한다.
• Intersection over Union (IoU)와 False Positive Rate (FPR)를 사용하여 성능을 평가하며, 안전성과 관련된 잠재적 위험으로 인해 FPR을 우선 고려한다.
• 영상 처리를 피하기 위해 개별 프레임을 분석함으로써 에너지 소비를 줄이고 실시간 운영을 가능하게 한다.

Figure 1: Example aerial photo and its associated mask (top row) and two examples of aerial shots captured in two different environments from the AI Drone Simu game (bottom row) showing how realistic our test videos are.

실험 결과

연구 질문

• RQ1 단일 RGB 카메라만을 사용하여 경량 의미적 분할 모델이 UAV에서 안전 착륙 지점을 얼마나 정확하게 탐지할 수 있는가?
• RQ2 정확도와 에너지 효율성을 균형 잡기 위해 최적의 프레임 레이트와 이미지 자르기 전략은 무엇인가?
• RQ3 모델 성능은 실제와 유사한 다양한 환경에서 어떻게 변할까? 특히 훈련 중에 볼 수 없었던 환경에서는 어떻게 되는가?
• RQ4 거짓 양성 결과—비안전 지역을 안전으로 잘못 분류하는 것—은 착륙 안전성에 얼마나 큰 영향을 미치며, 이를 어떻게 줄일 수 있는가?
• RQ5 차량 내 프레임 기반 분할이 실시간 착륙 지점 검증을 위해 GPS와 DEM에 의존하는 것을 대체할 수 있는가?

주요 결과

• 모델은 나무와 그림자 같은 장애물이 존재하는 공원 환경에서 가장 높은 IoU와 가장 낮은 FPR을 기록했으며, 이를 정확히 분류했다.
• 훈련 중에 볼 수 없었던 덤불과 먼지로 뒤덮인 지형과 평탄한 屋根이 안전 착륙 지점으로 잘못 분류된 '와이드 웨스트' 환경에서는 성능이 크게 떨어졌다.
• 해안 환경에서는 표면 세부 정보인 물결무늬가 5~10프레임 사이에 나타나면서 거짓 양성 수가 급격히 증가했고, 낮은 고도에서 탐지 성능이 향상되었다.
• 평탄하고 문양이 없는 표면이 많은 환경, 예를 들어 평탄한 屋根과 수면에서는 모델이 빈번히 잘못 분류하여 성능이 열악했다.
• 거짓 양성률(FPR)은 '와이드 웨스트'와 해안 환경에서 가장 높았으며, 이는 비안전 표면에 착륙을 시도할 위험이 높다는 것을 시사한다.
• 낮은 고도에서 모델 정확도가 크게 향상되었으며, 이는 더 높은 해상도와 더 많은 무늬 정보를 가진 입력이 더 신뢰할 수 있는 분할을 가능하게 한다는 것을 시사한다.

Figure 2: Projection of surface area of subsequent frames onto the initial mask