[논문 리뷰] TTPLA: An Aerial-Image Dataset for Detection and Segmentation of Transmission Towers and Power Lines

Rabab Abdelfattah, Xiaofeng Wang외 1명|arXiv (Cornell University)|2020. 10. 20.

Advanced Neural Network Applications참고 문헌 40인용 수 16

한 줄 요약

이 논문은 1,100장의 고해상도(3,840×2,160) 영상과 전송하중 탑(TTs) 및 송전선(PLs)에 대한 수작업으로 레이블링된 8,987개의 인스턴스를 포함하는 TTPLA라는 새로운 공개 항공 영상 데이터셋을 소개한다. 이 데이터셋은 인스턴스 세그멘테이션, 검출, 의미 세그멘테이션을 지원한다. 데이터셋은 긴 양측선, 구조적 다양성, 객체 집합성 등의 과제를 해결하며, Yolact를 사용해 기준 성능을 설정하여 평균 바운딩 박스 AP 22.96%와 마스크 AP 15.72%를 달성하여, 혼잡하고 복잡한 환경에서 개선된 모델이 필요하다는 점을 시사한다.

ABSTRACT

Accurate detection and segmentation of transmission towers~(TTs) and power lines~(PLs) from aerial images plays a key role in protecting power-grid security and low-altitude UAV safety. Meanwhile, aerial images of TTs and PLs pose a number of new challenges to the computer vision researchers who work on object detection and segmentation -- PLs are long and thin, and may show similar color as the background; TTs can be of various shapes and most likely made up of line structures of various sparsity; The background scene, lighting, and object sizes can vary significantly from one image to another. In this paper we collect and release a new TT/PL Aerial-image (TTPLA) dataset, consisting of 1,100 images with the resolution of 3,840$ imes$2,160 pixels, as well as manually labeled 8,987 instances of TTs and PLs. We develop novel policies for collecting, annotating, and labeling the images in TTPLA. Different from other relevant datasets, TTPLA supports evaluation of instance segmentation, besides detection and semantic segmentation. To build a baseline for detection and segmentation tasks on TTPLA, we report the performance of several state-of-the-art deep learning models on our dataset. TTPLA dataset is publicly available at https://github.com/r3ab/ttpla_dataset

연구 동기 및 목표

• 항공 영상에서 전송하중 탑(TTs)과 송전선(PLs)에 대한 인스턴스 세그멘테이션을 지원하는 공개 데이터셋의 부족을 해결하기 위해.
• 다양한 시점 각도, 조명 조건, 배경 및 객체 크기에서 수집된 다양하고 고해상도의 항공 영상 데이터셋을 수집하고 레이블링하기 위해.
• 긴 선형, 얇은 선형, 겹치는 PLs와 구조적으로 다양성이 있는 TTs를 포함한 복잡하고 실제적인 시나리오에서 딥 러닝 모델의 평가 기준을 제공하기 위해.
• 새로운 데이터셋에서 최첨단 모델(예: Yolact)을 사용해 기준 성능을 설정하여 현재 성능 한계와 연구 격차를 부각시키기 위해.

제안 방법

• TTPLA 데이터셋은 다양한 지리적 위치, 시점 각도, 조명 조건에서의 실제 항공 조사 자료를 바탕으로 수집되어 시나리오와 객체의 다양성을 확보하였다.
• 세분화된 인스턴스 수준 인식을 가능하게 하기 위해 COCO 형식의 픽셀 수준 인스턴스 세그멘테이션 마스크를 생성하기 위한 새로운 레이블링 파이프라인을 개발하였다.
• TTs와 PLs 모두에 대해 바운딩 박스와 세그멘테이션 마스크를 레이블링하였으며, 특히 긴 양측선과 구조적으로 복잡한 탑에 특별한 주의를 기울였다.
• 여러 입력 해상도(640×360, 550×550, 700×700)에서 ResNet-50 및 ResNet-101 백본을 사용한 Yolact 인스턴스 세그멘테이션 모델을 사용해 기준 성능을 설정하였다.
• 평가 프레임워크에는 바운딩 박스와 마스크에 대한 평균 정확도(AP)와 같은 표준 지표가 포함되었으며, 혼잡한 환경에서의 비최대 억제(NMS) 과제 분석도 포함되었다.
• 향후 항공 영상 이해 및 자율 드론 점검 연구를 지원하기 위해 GitHub에 데이터셋을 공개적으로 배포하였다.

실험 결과

연구 질문

• RQ1 최첨단 인스턴스 세그멘테이션 모델의 성능는 전송하중 탑과 송전선의 항공 영상에 대해 극단적인 척도 및 형태 변화에 어떻게 일반화되는가?
• RQ2 기존의 인스턴스 세그멘테이션 모델은 실제 항공 영상에서 긴 선형, 얇은 선형, 겹치는 송전선에 대해 어느 정도 어려움을 겪는가?
• RQ3 고도로 겹치는 객체가 많은 혼잡한 환경에서 비최대 억제(NMS) 전략은 어떤 성능을 보이며, 임계값 선택의 상충 관계는 무엇인가?
• RQ4 배경 유사성, 객체 희소성, 구조적 복잡성으로 인해 전송하중 탑과 송전선을 검출하고 세그멘테이션하는 데 있어 주요 과제는 무엇인가?
• RQ5 픽셀 수준의 인스턴스 레이블링이 포함된 공개 데이터셋이 전력망 점검 및 드론 자율성 연구를 크게 발전시킬 수 있는가?

주요 결과

• 가장 성능이 뛰어난 Yolact 모델은 TTPLA 데이터셋에서 바운딩 박스 검출에 대해 22.96%의 평균 정확도(AP)와 마스크 세그멘테이션에 대해 15.72%의 AP를 달성하여 향후 개선 여지가 크다는 것을 시사한다.
• 송전선에 대한 예측된 바운딩 박스 중 48% 이상이 30% IoU 기준으로 참값 인스턴스와 겹쳤으며, 이는 객체 집합성과 겹침을 다루는 데 심각한 과제를 반영한다.
• 30% IoU에서 송전선의 높은 겹침 비율(최대 48.9%)은 표준 NMS 전략이 부적절하다는 것을 시사하며, 낮은 임계값은 거짓 양성 증가를, 높은 임계값은 빠진 검출을 유도한다.
• 송전선의 평균 마스크 AP는 탑보다 현저히 낮았는데, 이는 얇고 길쭉한 형태와 낮은 픽셀 폭(1~3 픽셀)으로 인해 정확한 마스크 예측이 어려운 데 기인한다.
• 데이터셋 분석 결과, 특히 전송하중 탑에서의 객체 크기 및 형태 변화는 검출 정밀도에 직접적인 영향을 미치며, 작은 또는 희소한 구조물은 자주 빠지게 된다.
• 분석 결과 기존 모델이 참값 근처에서 거짓 양성으로 어려움을 겪는 것으로 확인되었으며, 특히 도로 표시선, 보도 등 송전선과 유사한 구조를 가진 영역에서 시각적 특징이 부족하기 때문이다.