[논문 리뷰] Interactive Learning for Semantic Segmentation in Earth Observation

Gaston Lenczner, Adrien Chan-Hon-Tong외 3명|arXiv (Cornell University)|2020. 09. 23.

Advanced Image and Video Retrieval Techniques참고 문헌 19인용 수 5

한 줄 요약

이 논문은 지구 관측 영상의 의미적 분할을 위한 상호작용적이고 지속적인 신경망 적응을 위한 DISCA 프레임워크를 제안한다. 희박한 사용자 애너테이션을 지도 데이터로 사용하여, 목표 이미지에 대해 최소한의 사용자 클릭으로 네트워크를 피지테이닝함으로써, IoU를 최대 4.7% 향상시키고 도메인 이동 상황에서 성능을 크게 향상시킨다. 이는 이전 방법인 DISIR을 능가한다.

ABSTRACT

Dense pixel-wise classification maps output by deep neural networks are of extreme importance for scene understanding. However, these maps are often partially inaccurate due to a variety of possible factors. Therefore, we propose to interactively refine them within a framework named DISCA (Deep Image Segmentation with Continual Adaptation). It consists of continually adapting a neural network to a target image using an interactive learning process with sparse user annotations as ground-truth. We show through experiments on three datasets using synthesized annotations the benefits of the approach, reaching an IoU improvement up to 4.7% for ten sampled clicks. Finally, we exhibit that our approach can be particularly rewarding when it is faced to additional issues such as domain adaptation.

연구 동기 및 목표

• 지구 관측에서 의미적 분할에 대한 딥 네트워크 예측의 정확도를 향상시키며, 특히 도메인 이동이나 제한된 학습 데이터 상황에서의 문제를 해결하기 위해.
• 사용자 애너테이션의 희박한 데이터만을 지도로 사용하여 사전 학습된 네트워크의 지속적 적응을 가능하게 하는 방법을 개발하기 위해.
• 지역적 수정이 아닌 이미지 전체 수준에서의 상호작용 재학습을 통해 분할 정확도를 햖थ기 위해.
• 다양한 원격 감지 데이터셋과 도메인 적응 설정에서 프레임워크의 효과성을 평가하기 위해.

제안 방법

• DISCA는 사전 학습된 LinkNet 기반 신경망을 사용하며, 희박한 사용자 애너테이션을 희박한 지도 데이터 맵으로 사용하여 목표 이미지에서 네트워크를 피지테이닝한다.
• 사용자 애너테이션은 입력에 추가 채널로 통합되어, 네트워크가 목표 이미지에 특화된 보정을 학습할 수 있도록 한다.
• 학습률 2e-7로 10단계의 확률적 경사 하강법을 사용하여 손실 함수를 최소화하며, 애너테이션된 영역에서 교차 엔트로피 손실을 최소화한다.
• 이 방법은 이미지 단위로 적용되어 모델이 국소 이미지 특성에 적응하고 전체 이미지의 분할 성능을 향상시킬 수 있도록 한다.
• 세 가지 데이터셋(ISPRS Potsdam, INRIA Aerial, AIRS)에서 평가되었으며, 검증을 위해 합성 애너테이션을 사용하였다.
• 네트워크를 재학습하지 않는 이전의 상호작용 분할 방법인 DISIR과 비교하여, 지속적 적응의 이점을 입증하였다.

실험 결과

연구 질문

• RQ1 희박한 사용자 애너테이션을 통한 상호작용 학습이 지구 관측 영상의 의미적 분할 정확도를 크게 향상시킬 수 있는가?
• RQ2 재학습을 통한 지속적 적응은 국소적 수정 방법과 비교해 분할 품질 측면에서 어떻게 다른가?
• RQ3 AIRS에서 ISPRS로의 도메인 이동과 같은 상황에서 DISCA는 분할 성능 향상에 얼마나 기여하는가?
• RQ4 초기 예측이 매우 정확하지 않거나 불확실한 경우에도 프레임워크는 안정성과 성능 향상을 유지하는가?
• RQ5 소수의 사용자 클릭만으로도 상당한 IoU 향상을 달성할 수 있는가?

주요 결과

• DISCA는 단지 10개의 사용자 애너테이션만으로도 세 가지 데이터셋에서 평균 2.5%의 IoU 향상을 달성했으며, ISPRS 데이터셋에서 최대 4.7% 향상되었다.
• ISPRS 데이터셋에서 DISCA는 IoU를 85.4%에서 86.5%로 향상시켰고, DISIR의 86.4%를 능가했다.
• 도메인 적응 상황(AIRS → ISPRS)에서 DISCA는 10개의 애너테이션으로 평균 20%의 IoU 향상을 달성했으며, DISIR은 단지 5%에 그쳤다.
• 시각적으로 DISCA는 전반적으로 더 정확한 분할 맵을 생성하여, 원천 도메인에서 볼 수 없었던 이례적인 지붕 형태나 크기의 건물도 정확히 식별한다.
• 이 방법은 전반적인 예측 오류를 효과적으로 수정하고, 특히 도메인 이동로 인해 초기 예측이 잘못된 경우에 불확실한 영역의 분할 성능을 향상시킨다.
• DISCA는 재학습을 통한 지속적 적응이 국소적 가이던스보다 복잡하거나 도메인 외부의 상황에서 더 효과적임을 입증한다.