[논문 리뷰] Locality-Aware Hyperspectral Classification

Zhou Fang-qin, Mert Kilickaya외 1명|arXiv (Cornell University)|2023. 09. 04.

Remote-Sensing Image Classification인용 수 6

한 줄 요약

이 논문은 지역적 공간적 맥락과 스펙트럼 정보를 새로운 국소-스펙트럼 어텐션 메커니즘과 국소-글로벌 정규화 손실을 통해 명시적으로 모델링하는 하이퍼스펙트럼 이미지 분류를 위한 비전 트랜스포머인 HyLITE를 제안한다. 이 방법은 기존의 SpectralFormer와 같은 기존 방법들에 비해 인디언 파인스 데이터셋에서 최대 10.83% 향상된 정확도를 달성하며 최신 기술 수준의 성능을 확보한다.

ABSTRACT

Hyperspectral image classification is gaining popularity for high-precision vision tasks in remote sensing, thanks to their ability to capture visual information available in a wide continuum of spectra. Researchers have been working on automating Hyperspectral image classification, with recent efforts leveraging Vision-Transformers. However, most research models only spectra information and lacks attention to the locality (i.e., neighboring pixels), which may be not sufficiently discriminative, resulting in performance limitations. To address this, we present three contributions: i) We introduce the Hyperspectral Locality-aware Image TransformEr (HyLITE), a vision transformer that models both local and spectral information, ii) A novel regularization function that promotes the integration of local-to-global information, and iii) Our proposed approach outperforms competing baselines by a significant margin, achieving up to 10% gains in accuracy. The trained models and the code are available at HyLITE.

연구 동기 및 목표

• 기존의 하이퍼스펙트럼 이미지 분류기들이 단지 스펙트럼 정보에 의존하고 지역적 공간적 맥락을 간과하는 한계를 해결한다.
• 다른 클래스의 스펙트럼 서명이 매우 유사하여 오분류가 발생하는 상황에서의 분류 성능 향상.
• 국소 및 글로벌 표현의 통합을 향상시켜 특징의 구별 능력을 높이는 새로운 정규화 손실을 개발한다.
• 다양한 표준 하이퍼스펙트럼 이미지 벤치마크에서 최신 기술 수준의 성능을 입증한다.

제안 방법

• 하이퍼스펙트럼 이미지 패치를 처리할 때 동시에 국소 공간 이웃과 스펙트럼 대역에 주목하는 비전 트랜스포머 아키텍처인 HyLITE를 도입한다.
• 동일한 트랜스포머 블록 내에서 국소(공간) 표현과 스펙트럼 표현 간의 관계를 모델링하는 이중 브랜치 어텐션 메커니즘을 구현한다.
• 멀리 떨어진 픽셀과 스펙트럼이 상호로 어텐션을 주도록 유도하는 새로운 국소-글로벌 정규화 손실을 제안한다. 이는 표현 능력을 향상시킨다.
• 초기 처리 단계에서 스펙트럼 정보를 우선시하기 위해 스펙트럼 차원에 초기화된 글로벌 분류 토큰을 사용한다.
• 분류 레이어에서의 후기 융합이 아닌, 트랜스포머 블록 내부에서 국소 및 스펙트럼 표현을 특징 수준에서 융합한다.
• 공간적 및 스펙트럼적 위치 정보를 유지하기 위해 위치 인코딩을 적용하여, 모델이 서로 다른 공간적 및 스펙트럼적 위치를 구별할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 스펙트럼 서명이 매우 유사할 경우, 지역적 공간적 맥락을 명시적으로 모델링하면 하이퍼스펙트럼 이미지 분류 성능이 향상되는가?
• RQ2 스펙트럼-먼저 대비 국소-먼저 순서의 어텐션 처리가 하이퍼스펙트럼 트랜스포머의 분류 성능에 어떤 영향을 미치는가?
• RQ3 국소-글로벌 정규화 손실이 하이퍼스펙트럼 이미지 분류에서 특징 표현과 일반화 능력 향상에 얼마나 기여하는가?
• RQ4 국소 및 스펙트럼 표현의 특징 수준 융합이 하이퍼스펙트럼 트랜스포머에서 클래스 수준의 후기 융합보다 우월한가?
• RQ5 다양한 표준 벤치마크에서 HyLITE는 SpectralFormer과 같은 최신 기술 수준의 모델들과 비교해 어떻게 성능을 내는가?

주요 결과

• Indian Pines 데이터셋에서 HyLITE는 SpectralFormer 대비 전체 정확도에서 10.83%p의 절대적 향상을 달성하여 뚜렷한 성능 향상을 입증한다.
• Houston2013 데이터셋에서 HyLITE는 기준 모델 대비 전체 정확도와 평균 정확도 각각 3.41%p 향상시켰다.
• Pavia University 데이터셋에서 HyLITE는 전체 정확도에서 6.64%p 향상되어 다양한 데이터셋에서의 일관된 성능 향상을 확인했다.
• 제거 실험 결과, 국소 및 스펙트럼 어텐션과 정규화 손실을 병행할 경우 성능 향상이 가장 크게 나타나, 두 구성 요소가 모두 필수적임을 입증했다.
• 특징 수준 융합이 클래스 수준의 후기 융합보다 훨씬 뛰어난 성능을 보였으며, 이는 다중 모odal 간의 조기에 상호작용하는 것이 중요함을 확인한다.
• 스펙트럼 어텐션을 국소 어텐션 이전에 처리할 경우 모델 성능이 가장 우수하며, 글로벌 분류 토큰이 스펙트럼 차원에 초기화될 경우 성능이 향상됨을 확인하여 아키텍처 설계의 민감성을 강조한다.