[논문 리뷰] Spatio-temporal crop classification of low-resolution satellite imagery with capsule layers and distributed attention

John Brandt|arXiv (Cornell University)|2019. 04. 23.

Remote Sensing in Agriculture참고 문헌 6인용 수 7

한 줄 요약

이 논문은 저해상도 센티넬-2 위성 영상에서 시공간 농작물 분류를 위해 캡슐 레이어, 양방향 LSTM, 및 시간 분산 주의를 결합한 딥러닝 모델인 CapsAttn을 제안한다. 19개 클래스의 농작물 데이터셋에서 SOTA 정확도 88.0%를 달성하였으며, 이는 이전 방법 대비 상대적 개선률 80% 이상이며 오차율은 약 50% 감소시켰다.

ABSTRACT

Land use classification of low resolution spatial imagery is one of the most extensively researched fields in remote sensing. Despite significant advancements in satellite technology, high resolution imagery lacks global coverage and can be prohibitively expensive to procure for extended time periods. Accurately classifying land use change without high resolution imagery offers the potential to monitor vital aspects of global development agenda including climate smart agriculture, drought resistant crops, and sustainable land management. Utilizing a combination of capsule layers and long-short term memory layers with distributed attention, the present paper achieves state-of-the-art accuracy on temporal crop type classification at a 30x30m resolution with Sentinel 2 imagery.

연구 동기 및 목표

• 전역 커버리지가 부족하고 고해상도일 경우 비용이 많이 드는 저해상도 위성 영상으로 정확한 농작물 유형 분류 문제를 해결한다.
• 농업 시계열 데이터에서 복잡한 시공간 패턴을 포착하는 데에 한계가 있는 전통적 모델(예: CNN 및 LSTM)의 한계를 극복한다.
• 원격 감지 분야에서 캡슐 네트워크와 주의 메커니즘의 통합을 탐색하여 저해상도 데이터에서의 분류 성능 향상을 도모한다.
• 더 나은 기울기 흐름과 시간적 표현을 확보하기 위해 마진 손실 및 복원 손실 대신 교차 엔트로피 손실를 사용하는 마스크되지 않은 캡슐 레이어의 유효성을 검토한다.
• 캡슐 레이어와 분산 주의의 조합이 시간 기반 농작물 분류 작업에서 모델 성능을 크게 향상시킨다는 것을 입증한다.

제안 방법

• 6밴드 센티넬-2 입력(10m 및 20m 밴드를 10m로 다운샘플링)에 대해 26개 시간 단계 동안 1x1 2D 합성곱 레이어를 ReLU 활성화 함수와 함께 적용한다.
• 1280개의 캡슐과 캡슐당 10개의 유닛을 가진 주요 캡슐 레이어를 적용하고, 공간적 관계를 유지하기 위해 스쿼시 활성화 함수를 사용한다.
• 캡슐 출력을 평탄화하여 각 방향당 240개 유닛을 가진 양방향 LSTM에 입력하여 시간 단계당 480차원의 은닉 상태를 생성한다.
• 각 시간 단계에서 가중치 벡터를 학습 가능하게 설정하여 쿼리-키 상호작용을 기반으로 소프트맥스를 통해 주의 가중치를 계산하는 시간 분산 주의를 구현한다.
• 주의를 통해 LSTM 은닉 상태를 재가중하기 위해 다음 수식을 사용한다: $ u_{it} = \text{tanh}(W_w h_{it} + b_s) $, $ \alpha_{it} = \frac{\text{exp}(u_{it}^T u_w)}{\sum_t \text{exp}(u_{it}^T u_w)} $, 및 $ s_i = \sum_t \alpha_{it} h_{it} $.
• 최종 19개 클래스 분류를 위해 ReLU 및 소프트맥스 활성화 함수를 가지는 두 개의 밀집 레이어를 통해 주의된 LSTM 출력을 전달한다.

실험 결과

연구 질문

• RQ1 표준 CNN 및 LSTM 대비 저해상도 위성 영상에서 캡슐 네트워크가 시계열 농작물 분류 정확도를 향상시킬 수 있는가?
• RQ2 LSTM와의 분산 주의 통합이 농업 생장 주기에서의 복잡한 시간 의존성 학습 능력을 향상시키는가?
• RQ3 이 원격 감지 환경에서 마스크되지 않은 캡슐 레이어 학습과 교차 엔트로피 손실 사용이 마스크된 학습과 마진 손실 사용보다 더 효과적인가?
• RQ4 캡슐 레이어와 주의 메커니즘이 저해상도 농작물 분류에서 개별적으로나 함께 기여하는 성능 향상 기여도는 어떻게 되는가?
• RQ5 제안된 CapsAttn 아키텍처가 동일한 벤치마크 데이터셋에서 기존 SOTA 모델을 초월할 수 있는가?

주요 결과

• CapsAttn는 테스트 정확도 88.0%를 달성하였으며, Rubwurm 및 Korner(2017)가 보고한 이전 SOTA 방법 대비 상대적 개선률 80% 이상을 기록하였다.
• 모델은 이전 SOTA 대비 오차율을 약 50% 감소시켜 저해상도 시공간 농작물 분류에서 뚜렷한 성능 향상을 보였다.
• 캡슐 레이어만으로도 CNN-LSTM의 85.6%에서 CapsLSTM의 86.7%로 성능 향상이 이루어져 공간적 및 시간적 특징을 유지하는 데 효과적임을 입증하였다.
• 분산 주의만으로도 CNN-LSTM의 85.6%에서 CNNAttn의 86.3%로 정확도 향상이 이루어져 시간 의존 패턴을 모델링하는 데 가치가 있음을 보여주었다.
• 캡슐 레이어와 분산 주의의 조합이 가장 높은 성능(88.0% 정확도)을 기록하여 두 요소 간 상호보완적 효과를 확인하였다.
• 공유 가중치를 가진 주의는 성능 향상에 기여하지 않았으며, 이는 시간 단계별 개별 주의 가중치를 학습하는 것이 농업 생장 주기의 복잡한 패턴을 포착하는 데 필수적임을 시사한다.