[논문 리뷰] Attentive Weakly Supervised land cover mapping for object-based satellite image time series data with spatial interpretation

Dino Ienco, Yawogan Jean Eudes Gbodjo외 2명|arXiv (Cornell University)|2020. 04. 30.

Remote-Sensing Image Classification참고 문헌 38인용 수 5

한 줄 요약

이 논문은 주어진 객체 기반 위성 이미지 시계열(SITS) 땅이용 지ap 맵핑을 위한 약한 지도 학습 기반 딥러닝 프레임워크인 TASSEL을 제안한다. 이 프레임워크는 주목 메커니즘을 활용해 관련 있는 내부 객체 구성요소를 식별하고 가중치를 부여함으로써 분류 정확도와 해석 가능성을 향상시킨다. 모델은 상태기반 기법들을 능가하며, 결정 과정을 해석할 수 있도록 공간적 주목 맵을 생성한다.

ABSTRACT

Nowadays, modern Earth Observation systems continuously collect massive amounts of satellite information. The unprecedented possibility to acquire high resolution Satellite Image Time Series (SITS) data (series of images with high revisit time period on the same geographical area) is opening new opportunities to monitor the different aspects of the Earth Surface but, at the same time, it is raising up new challenges in term of suitable methods to analyze and exploit such huge amount of rich and complex image data. One of the main task associated to SITS data analysis is related to land cover mapping where satellite data are exploited via learning methods to recover the Earth Surface status aka the corresponding land cover classes. Due to operational constraints, the collected label information, on which machine learning strategies are trained, is often limited in volume and obtained at coarse granularity carrying out inexact and weak knowledge that can affect the whole process. To cope with such issues, in the context of object-based SITS land cover mapping, we propose a new deep learning framework, named TASSEL (aTtentive weAkly Supervised Satellite image time sEries cLassifier), that is able to intelligently exploit the weak supervision provided by the coarse granularity labels. Furthermore, our framework also produces an additional side-information that supports the model interpretability with the aim to make the black box gray. Such side-information allows to associate spatial interpretation to the model decision via visual inspection.

연구 동기 및 목표

• 위성 이미지 시계열(SITS)을 활용한 대규모 땅이용 지도 맵핑에서 제한적이고 군집화된 레이블 문제를 해결한다.
• 객체 기반 이미지 분석(OBIA)의 전통적 접근 방식이 객체 통계를 집계하고 내부 구성요소의 다양성을 忽시하는 한계를 극복한다.
• 불필요한 내부 객체 구성요소(예: 농경지 내 샤우 나무)를 지능적으로 걸러내어 노이즈를 감소시키고 분류의 강건성을 향상시키는 방법을 개발한다.
• 모델 결정 과정에 기여하는 구성요소를 시각화하는 공간적 주목 맵을 생성함으로써 모델의 해석 가능성을 향상시킨다.
• 도메인 전문가가 실질적이고 실행 가능한 통찰을 얻을 수 있도록, 모델 예측을 SITS 데이터 내 국소화된 공간적 특징과 연결한다.

제안 방법

• SITS 데이터의 객체를 고유한 방사능 구성요소(예: 식생, 불透수 표면, 갈라진 토양)로 분할하기 위해 군집 분석을 적용한다.
• 각 식별된 객체 구성요소에서 깊이 있는 내부 표현을 추출하기 위해 합성곱 신경망(CNN) 블록을 사용한다.
• 각 구성요소가 땅이용 클래스에 얼마나 관련성이 있는지에 따라 다른 가중치를 할당하는 학습 가능한 주목 메커니즘을 통해 구성요소 표현을 집계한다.
• 오직 군집화된 객체 수준의 레이블만을 사용하는 약한 지도 학습 설정 하에서 프레임워크를 종합적으로 학습한다.
• 최종 땅이용 예측과 함께 각 구성요소가 결정에 기여하는 정도를 나타내는 공간적 주목 맵(α)을 출력한다.
• 주목 맵을 보조 정보로 활용하여 모델의 추론 과정을 공간적으로 점검할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 약한 지도 학습 하에서 객체 기반 SITS 데이터의 내부 정보 다양성을 효과적으로 활용할 수 있는 딥러닝 프레임워크는 존재하는가?
• RQ2 주목 메커니즘이 불필요하거나 노이즈가 많은 구성요소(예: 농경지 내 샤우 나무)를 억제하면서도 특징을 구분하는 데 효과적인가?
• RQ3 제안된 주목 기반 집계 방식은 기존의 객체 수준 통계 방식에 비해 분류 정확도를 얼마나 향상시키는가?
• RQ4 주목 맵은 땅이용 지도 맵핑에서 모델 결정의 공간적 점검을 위한 의미 있는 해석 도구로 기능할 수 있는가?
• RQ5 복잡한 내부 이질성을 지닌 다양한 땅이용 유형과 실제 SITS 환경에서 이 프레임워크는 얼마나 일반화되는가?

주요 결과

• TASSEL은 두 개의 실제 SITS 벤치마크에서 최신 기술 대비 예측 성능에서 승리하며, 약한 지도 학습 조건에서도 뛰어난 분류 정확도를 입증한다.
• 주목 메커니즘이 불필요한 구성요소—예를 들어 농경지 내 샤우 나무—를 성공적으로 식별하고 낮은 주목 점수를 할당하여 가중치를 낮춘다.
• 삼림 지역에서는 식생 영역에 높은 주목을 할당하고 갈라진 토양에는 낮은 주목을 할당하여 땅이용 유형과 정확하게 일치한다.
• 도시 지역에서는 건물 구조물에 높은 주목을 할당하고 식생에는 낮은 주목을 할당하여 올바른 땅이용 유형 할당을 반영한다.
• 생성된 주목 맵(α)은 일관되고 공간적으로 국소화된 해석을 제공하여 모델의 투명성과 전문가 검증을 지원한다.
• 프레임워크는 복잡한 땅 단위에서 노이즈가 많거나 불필요한 특징의 영향을 줄이기 위해 내부 구성요소로부터 불변성과 특징적인 신호를 효과적으로 학습한다.