[논문 리뷰] Thermal and Visual Tracking of Photovoltaic Plants for Autonomous UAV inspection

Luca Morando, Carmine Tommaso Recchiuto외 3명|arXiv (Cornell University)|2022. 02. 02.

Power Line Inspection Robots인용 수 4

한 줄 요약

이 논문은 실시간 열화상 및 RGB 카메라 기반 PV 모듈 추적를 통해 모듈 행을 따라 저고도, 고해상도 점검을 가능하게 하는 자율 UAV 점검 시스템을 제안한다. 시각적 및 열화상 데이터를 융합하여 GPS 드리프트를 보정함으로써 불필요한 데이터 수집을 줄이고, 항법 오차를 0.4 m 이하로 낮추어 15m 고도에서 정밀한 결함 탐지가 가능하게 한다.

ABSTRACT

Since photovoltaic (PV) plants require periodic maintenance, using Unmanned Aerial Vehicles (UAV) for inspections can help reduce costs. The thermal and visual inspection of PV installations is currently based on UAV photogrammetry. A UAV equipped with a Global Positioning System (GPS) receiver is assigned a flight zone: the UAV will cover it back and forth to collect images to be later composed in an orthomosaic. The UAV typically flies at a height above the ground that is appropriate to ensure that images overlap even in the presence of GPS positioning errors. However, this approach has two limitations. Firstly, it requires to cover the whole flight zone, including "empty" areas between PV module rows. Secondly, flying high above the ground limits the resolution of the images to be later inspected. The article proposes a novel approach using an autonomous UAV equipped with an RGB and a thermal camera for PV module tracking. The UAV moves along PV module rows at a lower height than usual and inspects them back and forth in a boustrophedon way by ignoring "empty" areas with no PV modules. Experimental tests performed in simulation and an actual PV plant are reported.

연구 동기 및 목표

• PV 식당 점검에서 전통적인 UAV 지형측량의 비효율성, 즉 모듈 간 빈 공간을 커버하고 해상도를 제한하는 문제를 해결하기 위해.
• 고정밀 GPS에 대한 의존도를 줄이기 위해, PV 모듈 행을 따라 실시간 센서 기반 보정 시스템을 개발하여 UAV 항법을 개선하기 위해.
• 낮은 고도에서 정확한 정렬을 유지하면서도 고해상도 열화상 및 시각적 영상 촬영을 가능하게 하기 위해.
• 다양한 조명 및 열 조건에서 PV 모듈 검출을 위한 모델 기반 및 데이터 기반 세분화 접근법을 비교하기 위해.
• 모델 기반 및 데이터 기반 세분화 접근법을 시뮬레이션 및 실제 PV 식당 환경에서 검증하여 시스템의 강건성과 정확도를 입증하기 위해.

제안 방법

• 시스템은 DJI Matrice 300 UAV에 장착된 하이브리드 RGB 및 열화상 카메라(DJI Zenmuse XT2)를 사용하여 실시간 PV 모듈 검출를 수행한다.
• 모델 기반 세분화 파이프라인은 기하학적 및 강도 기반 특징(예: 에지 검출, 색상 클러스터링 포함)을 사용하여 열화상 및 RGB 영상에서 PV 모듈을 검출한다.
• UAV의 항법 시스템은 GPS 웨이포인트 계획과 시각적 서보 제어를 융합한다: 모듈 중앙선 추정 위치를 활용해 행 주행 중 GPS 드리프트를 보정한다.
• 오차 보정은 열화상 및 RGB 데이터 융합을 통해 달성되며, 열대비가 낮거나 반사광이 강한 등 열악한 조건에서도 강건성을 향상시킨다.
• 행 간 이동은 GPS 기반 항법을, 각 행 주행 시에는 시각적 서보 제어를 통해 사용하여 정렬을 유지한다.
• 비교를 위해, 전용 열화상 영상 데이터셋으로 훈련된 머신러닝 기반 세분화 모델(ROS 실행 파일로 제공)을 사용한다.

실험 결과

연구 질문

• RQ1 실시간 열화상 및 RGB 기반 PV 모듈 검출이 저고도에서 PV 모듈 행을 따라 정확한 UAV 항법을 가능하게 하는가?
• RQ2 열화상 및 RGB 데이터 융합이 단일 센서 접근법에 비해 항법 강건성을 얼마나 향상시키는가?
• RQ3 모델 기반 세분화가 데이터 기반 머신러닝 방법에 비해 대규모 레이블링 데이터셋에 얼마나 의존도를 줄일 수 있는가?
• RQ4 GPS 오차가 PV 모듈 행에 대한 UAV 정렬에 어떤 영향을 미치며, 실시간 보정이 충분한 이미지 겹침 및 해상도를 유지할 수 있는가?
• RQ5 제안된 시스템이 15m 고도에서 PV 모듈이 카메라의 시야에 항상 유지되도록 충분히 낮은 항법 정확도를 확보할 수 있는가?

주요 결과

• 데이터 기반 신경망을 사용한 열화상 영상 세분화 시, 항법에 대해 루트 평균 제곱 오차(RMSE)가 0.368 m로 측정되어 높은 정확도를 확보하였다.
• 모델 기반 접근법은 데이터 기반 방법과 유사한 항법 정확도를 달성했지만, 대규모 식당 전용 훈련 데이터셋이 필요로 하지 않았다.
• 열화상 및 RGB 카메라를 모두 사용함으로써, 단독으로 사용할 경우보다 평균 항법 오차가 감소하여 다양한 조명 및 열 조건에서 강건성이 향상되었다.
• 시스템은 15m 고도에서 PV 모듈을 카메라의 시야에 안정적으로 유지하여 고해상도 영상 촬영을 통해 결함 탐지가 가능했다.
• GPS 웨이포인트 항법과 행 주행 중 시각적 서보 제어의 조합이 드리프트를 최소화하고 다수의 행에 걸쳐 일관된 정렬을 유지하는 데 효과적이었다.
• 비관련 영역(예: 모듈 간 틈새)에 대한 데이터 수집을 크게 줄여 점검 효율성을 향상시키고 프로세싱 부하를 감소시켰다.