[논문 리뷰] Convolutional LSTMs for Cloud-Robust Segmentation of Remote Sensing Imagery

Marc Rußwurm, Marco Körner|arXiv (Cornell University)|2018. 10. 28.

Remote Sensing in Agriculture참고 문헌 10인용 수 31

한 줄 요약

이 논문은 명시적인 구름 마스킹 없이 원격 감시 영상에서 클라우드 로버스트한 의미적 세그멘테이션을 달성하기 위해 컨volutional Long Short-Term Memory (ConvLSTM) 네트워크를 사용하는 것을 제안한다. 구름 커버리지를 내재된 노이즈로 간주함으로써, 모델은 내부 게이팅 메커니즘을 통해 구름 영향을 받는 특징을 억제하는 방식으로 학습하며, 심지어 극도로 구름이 많은 시퀀스에서도 최신 기술 수준의 정확도를 달성한다. 이는 다중 시계열 딥러닝에서 복잡한 사전 처리 파이프라인의 필요성이 없을 수 있음을 시사한다.

ABSTRACT

Clouds frequently cover the Earth's surface and pose an omnipresent challenge to optical Earth observation methods. The vast majority of remote sensing approaches either selectively choose single cloud-free observations or employ a pre-classification strategy to identify and mask cloudy pixels. We follow a different strategy and treat cloud coverage as noise that is inherent to the observed satellite data. In prior work, we directly employed a straightforward \emph{convolutional long short-term memory} network for vegetation classification without explicit cloud filtering and achieved state-of-the-art classification accuracies. In this work, we investigate this cloud-robustness further by visualizing internal cell activations and performing an ablation experiment on datasets of different cloud coverage. In the visualizations of network states, we identified some cells in which modulation and input gates closed on cloudy pixels. This indicates that the network has internalized a cloud-filtering mechanism without being specifically trained on cloud labels. Overall, our results question the necessity of sophisticated pre-processing pipelines for multi-temporal deep learning approaches.

연구 동기 및 목표

• 다중 시계열 원격 감시 영상에서 명시적인 구름 마스킹 없이 딥러닝 모델이 구름 노이즈를 내재적으로 다룰 수 있는지 조사하기 위해.
• 위성 영상 시퀀스에서 다양한 정도의 구름 커버리지에 대해 ConvLSTM 네트워크의 강건성을 평가하기 위해.
• 광학 지구 관측에서 정확한 의미적 세그멘테이션을 위해 구름의 사전 분류가 필수적인지 확인하기 위해.
• 내부 LSTM 셀 상태를 시각화하고 분석하여 네트워크가 어떻게 구름 관련 노이즈를 필터링하는지 이해하기 위해.
• 기존의 구름 로버스트한 원격 감시 세그멘테이션을 위해 정교한 사전 처리 파이프라인이 필수적이라는 전제를 도전하기 위해.

제안 방법

• 두 구성 요소로 이루어진 ConvLSTM 아키텍처를 사용하며, 입력 영상 시퀀스가 순차적으로 LSTM 인코더를 통해 스파atiotemporal 특징을 추출한다.
• 표준 LSTM 구성 요소인 忽略, 입력, 출력 게이트를 사용하며, 공간적 및 시간적 차원에 컨볼루션 연산을 적용한다.
• 최종 시간 단계에서의 내부 셀 상태 텐서 $\boldsymbol{c}_T$ 는 시퀀스에서 장기적이고 분류에 관련된 특징을 캡처한다.
• 최종 컨볼루션 레이어는 특징 차원을 의미 클래스 수로 감소시켜 픽셀 단위의 세그멘테이션을 가능하게 한다.
• 모델은 구름이 있는 관측과 구름이 없는 관측이 모두 포함된 원본, 필터링되지 않은 영상 시퀀스에서 엔드 투 엔드로 훈련된다.
• 다양한 구름 커버리지 비율(0%, 10%, 25%, 50%, 100%)을 가진 부분 샘플링된 데이터셋에서 아블레이션 실험을 수행하여 강건성 평가를 실시한다.

실험 결과

연구 질문

• RQ1 ConvLSTM 네트워크는 명시적인 구름 마스킹이나 사전 처리 없이도 원격 감시 영상에서 높은 세그멘테이션 정확도를 달성할 수 있는가?
• RQ2 구름 전용 레이블이 없더라도 내부 LSTM 게이트가 자동으로 구름 영향을 받는 특징을 억제하는가?
• RQ3 다양한 수준의 구름 커버리지(완전히 구름 없는 시퀀스부터 완전히 구름으로 덮인 시퀀스까지)를 가진 데이터셋에서 성능은 어떻게 변하는가?
• RQ4 모델 정확도에 영향을 주는 시퀀스 길이와 구름 커버리지 사이에 트레이드오프가 존재하는가?
• RQ5 다양한 구름 조건에서 잘 일반화되는가? 이는 시간적 노이즈에 대한 내재된 강건성을 시사하는가?

주요 결과

• 모델은 명시적인 구름 필터링이나 사전 처리 없이도 식생 세그멘테이션에서 최신 기술 수준의 분류 정확도를 달성한다.
• 내부 LSTM 상태의 시각화 결과, 입력 게이트와 조절 게이트가 활성적으로 구름 영향을 받는 픽셀을 억제하고 있음을 확인하여 내부 구름 필터링 행동을 시사한다.
• 특정 시간 단계에서 구름이 있는 픽셀에서는 忽略 게이트와 입력 게이트 값이 0에 수렴함을 통해 노이즈가 있는 입력을 선택적으로 억제하고 있음을 나타낸다.
• 다양한 구름 커버리지가 있는 데이터셋에서도 일관된 성능을 유지하며, 100% 구름 커버리지가 있는 데이터셋에서도 마찬가지로 성능이 유지된다.
• 완전히 구름 없는 시퀀스에서 성능이 略로 떨어지는 경향이 있으며, 이는 일부 구름 없는 관측에서 핵심 생태학적 이벤트를 놓칠 수 있음을 시사한다.
• 결과적으로 수작업으로 만든 사전 처리 파이프라인의 필요성을 의심하게 하며, ConvLSTM를 사용한 엔드 투 엔드 훈련이 내재적으로 구름 노이즈를 처리할 수 있음을 보여준다.