[논문 리뷰] Vision Transformers, a new approach for high-resolution and large-scale mapping of canopy heights

Ibrahim Fayad, Philippe Ciais외 9명|arXiv (Cornell University)|2023. 04. 22.

Remote Sensing and LiDAR Applications참고 문헌 80인용 수 8

한 줄 요약

이 논문은 가나에서 10 m 해상도의 캐노피 높이를 매핑하는 비전 트랜스포머 모델을 도입하며, 이산/연속 손실을 사용해 큰 나무 높이 추정을 개선하고 ConvNet baseline (RMSE 3.12 m vs 4.3 m)을 능가한다.

ABSTRACT

Accurate and timely monitoring of forest canopy heights is critical for assessing forest dynamics, biodiversity, carbon sequestration as well as forest degradation and deforestation. Recent advances in deep learning techniques, coupled with the vast amount of spaceborne remote sensing data offer an unprecedented opportunity to map canopy height at high spatial and temporal resolutions. Current techniques for wall-to-wall canopy height mapping correlate remotely sensed 2D information from optical and radar sensors to the vertical structure of trees using LiDAR measurements. While studies using deep learning algorithms have shown promising performances for the accurate mapping of canopy heights, they have limitations due to the type of architectures and loss functions employed. Moreover, mapping canopy heights over tropical forests remains poorly studied, and the accurate height estimation of tall canopies is a challenge due to signal saturation from optical and radar sensors, persistent cloud covers and sometimes the limited penetration capabilities of LiDARs. Here, we map heights at 10 m resolution across the diverse landscape of Ghana with a new vision transformer (ViT) model optimized concurrently with a classification (discrete) and a regression (continuous) loss function. This model achieves better accuracy than previously used convolutional based approaches (ConvNets) optimized with only a continuous loss function. The ViT model results show that our proposed discrete/continuous loss significantly increases the sensitivity for very tall trees (i.e., > 35m), for which other approaches show saturation effects. The height maps generated by the ViT also have better ground sampling distance and better sensitivity to sparse vegetation in comparison to a convolutional model. Our ViT model has a RMSE of 3.12m in comparison to a reference dataset while the ConvNet model has a RMSE of 4.3m.

연구 동기 및 목표

• 다양한 열대 지역에서 고해상도 공간 해상도를 달성하기 위해 비전 트랜스포머(ViT)를 활용한 전장 캐노피 높이 매핑을 발전시킨다.
• 매우 높은 캐노피와 희박한 초목을 포착하는 데 있어 ConvNet의 한계를 해결한다.
• 높이 추정을 개선하기 위한 이산(분류)과 연속(회귀) 손실의 공동 활용을 평가한다.
• 열대 데이터셋에서 전통적인 합성곱 아키텍처 대비 성능 향상을 입증한다.

제안 방법

• 이산/연속 공동 손실 함수로 최적화된 비전 트랜스포머 모델을 개발한다.
• 가나 전역에 걸친 10 m 해상도에서 캐노피 높이 매핑에 모델을 적용한다.
• ViT 결과를 ConvNet 기반선과 비교한다.
• 매우 높은 나무(>35 m)와 희박한 초목에 대한 민감도를 평가한다.

실험 결과

연구 질문

• RQ1 이산/연속 손실을 갖춘 ViT가 ConvNet과 비교하여 고해상도에서 캐노피 높이 매핑을 개선할 수 있는가?
• RQ2 결합 손실 함수가 매우 높은 캐노피(>35 m)와 희박한 초목에서 정확도를 향상시키는가?
• RQ3 열대 풍경 전반에서 지상 샘플링 거리(GSD) 및 민감도 측면에서 ViT의 성능은 어떠한가?

주요 결과

• 이산/연속 손실을 갖춘 ViT가 기준 데이터셋에서 RMSE 3.12 m를 달성했다.
• ConvNet 기본값은 RMSE 4.3 m를 달성했다.
• ViT는 ConvNet보다 더 나은 GSD와 희박한 초목에 대한 더 높은 민감도를 보인다.
• 이산 손실은 매우 높은 나무(>35 m)에 대한 민감도를 개선하고 포화가 줄었다.
• ViT는 가나의 고해상도 캐노피 높이 매핑에서 기존의 2D 아키텍처를 능가한다.