[논문 리뷰] Training Deep Learning Algorithms on Synthetic Forest Images for Tree Detection

Vincent Grondin, François Pomerleau외 1명|arXiv (Cornell University)|2022. 10. 08.

Remote Sensing and LiDAR Applications인용 수 9

한 줄 요약

이 논문은 유니티와 가이아를 사용해 생성한 43,000장의 합성 숲 이미지 데이터셋을 활용해 깊이 학습 모델을 트레이닝하여 실제 환경 이미지로의 강력한 전이 성능을 달성하는 방법을 제안한다. 연구에서는 세그멘테이션 및 심도 모달리티가 탐지 정확도를 크게 향상시키는 것으로 밝혀졌으며, 키포인트 탐지 기반으로는 평균 5.2 픽셀의 오차로 벌목 절단 위치를 정밀하게 추정할 수 있었다.

ABSTRACT

Vision-based segmentation in forested environments is a key functionality for autonomous forestry operations such as tree felling and forwarding. Deep learning algorithms demonstrate promising results to perform visual tasks such as object detection. However, the supervised learning process of these algorithms requires annotations from a large diversity of images. In this work, we propose to use simulated forest environments to automatically generate 43 k realistic synthetic images with pixel-level annotations, and use it to train deep learning algorithms for tree detection. This allows us to address the following questions: i) what kind of performance should we expect from deep learning in harsh synthetic forest environments, ii) which annotations are the most important for training, and iii) what modality should be used between RGB and depth. We also report the promising transfer learning capability of features learned on our synthetic dataset by directly predicting bounding box, segmentation masks and keypoints on real images. Code available on GitHub (https://github.com/norlab-ulaval/PercepTreeV1).

연구 동기 및 목표

• 산림 분야의 깊이 학습 모델 트레이닝을 위한 정확한 레이블이 부여된 숲 이미지 자료의 부족 문제를 해결하기 위해.
• 합성 숲 이미지에서 트레이닝된 깊이 학습 모델의 수목 탐지, 세그멘테이션, 키포인트 예측 성능을 평가하기 위해.
• 박싱 박스, 세그멘테이션 마스크, 키포인트 등 다양한 레이블 방식과 RGB 대비 심도 모달리티의 영향을 분석하기 위해.
• 합성 데이터에서 트레이닝된 모델가 실제 산림 환경으로의 전이 가능성 평가하기 위해.

제안 방법

• 유니티와 가이아를 사용해 정교한 합성 숲 이미지 43,000장을 생성하였으며, 프로시저럴 토양, 수목 모델, 동적 날씨/조명 조건을 적용하였다.
• 시뮬레이터의 자동 레이블링 파이프라인을 활용해 픽셀 수준의 레이블을 박싱 박스, 세그멘테이션 마스크, 키포인트(지름, 벌목 절단 위치, 정상, 중간)에 대해 적용하였다.
• 인스턴스 세그멘테이션 및 다중 작업 탐지에 대해 합성 데이터셋을 기반으로 ResNeXt-101 및 ResNet-101 백본을 사용한 마스크 R-CNN을 트레이닝하였다.
• 합성 이미지와 실제 이미지 양측에서 박싱 박스, 마스크, 키포인트에 대한 AP(평균 정밀도) 지표를 사용해 모델 성능을 평가하였다.
• RGB와 심도 모달리티의 성능을 비교하고, 벌목 절단 위치 및 지름 추정에서 키포인트 예측 오차 분포를 분석하였다.
• 피팅 조정 없이 실환경 이미지로의 제로샷 전이를 테스트하여 정성적 탐지 및 세그멘테이션 품질을 평가하였다.

실험 결과

연구 질문

• RQ1 합성 숲 이미지에서 트레이닝된 깊이 학습 모델이 수목 탐지에 대해 기대할 수 있는 성능는 어떠한가?
• RQ2 박싱 박스, 세그멘테이션 마스크, 키포인트 중 어떤 레이블 방식이 탐지 정확도 향상에 가장 기여하는가?
• RQ3 RGB만 사용하는 것과 비교해 심도 모달리티를 통합할 경우 탐지 성능 향상이 이루어지는가?
• RQ4 합성 데이터에서 트레이닝된 모델가 실제 산림 환경으로 얼마나 잘 전이되는가?

주요 결과

• 세그멘테이션 마스크 레이블이 박싱 박스 및 키포인트 탐지 성능을 크게 향상시켰으며, 다중 작업 학습에서 AP bb는 59.25에서 58.34로 상승하고 AP kp는 80.19에 도달하였다.
• 합성 데이터에서 심도 모달리티가 RGB보다 뛰어난 성능을 보였으며, 모든 탐지 작업에서 높은 평균 정밀도를 기록하였다.
• 키포인트 탐지 기반 지름 추정에서 평균 픽셀 오차는 5.2 픽셀이었으며, 수직 오차(σ_y)는 수평 오차(σ_x)보다 약 3배 높아 수직 위치 추정이 더 어려운 것으로 나타났다.
• 실환경 이미지로의 전이 시 높은 정밀도를 보였지만 정확도는 낮아, 유사한 수목 외형에는 잘 일반화되나 도메인 차이 문제로 어려움을 겪는 것으로 나타났다.
• 키포인트 브랜치를 추가함으로써 박싱 박스 및 마스크 작업의 성능이 저하되었으며, 이는 다중 작업 학습이 키포인트 탐지에 더 유리한 영향을 미친다는 것을 시사한다.
• 실환경 이미지에서도 세그멘테이션 마스크 및 키포인트 예측을 성공적으로 수행하여 현실 갭이 존재하더라도 제로샷 전이 잠재력이 높다는 것을 입증하였다.