[논문 리뷰] Land Use Classification in Remote Sensing Images by Convolutional Neural Networks

Marco Castelluccio, Giovanni Poggi외 2명|arXiv (Cornell University)|2015. 08. 01.

Remote-Sensing Image Classification참고 문헌 41인용 수 484

한 줄 요약

이 논문은 원격 감지 영상에서 토지 이용 분류를 위해 사전 훈련된 및 미세 조정된 합성곱 신경망(CNNs)을 사용하는 것을 제안하며, 최신 기법들보다 뚜렷한 성능 향상을 보여준다. UC-Merced 데이터셋에서는 이전 최고 성능보다 약 3% 향상되었고, 브라질 커피 풍경 데이터셋에서는 이전의 CNN 기반 방법들보다 거의 5% 높은 성능을 기록하였다.

ABSTRACT

We explore the use of convolutional neural networks for the semantic classification of remote sensing scenes. Two recently proposed architectures, CaffeNet and GoogLeNet, are adopted, with three different learning modalities. Besides conventional training from scratch, we resort to pre-trained networks that are only fine-tuned on the target data, so as to avoid overfitting problems and reduce design time. Experiments on two remote sensing datasets, with markedly different characteristics, testify on the effectiveness and wide applicability of the proposed solution, which guarantees a significant performance improvement over all state-of-the-art references.

연구 동기 및 목표

• 원격 감지 영상 분류에서 높은 내부 클래스 변동성과 낮은 상호 클래스 거리 문제를 해결하기 위해.
• 딥 컨볼루션 신경망, 특히 CaffeNet 및 GoogLeNet의 원격 감지 영역에서의 의미적 토지 이용 분류에 대한 효과를 평가하기 위해.
• 다양한 원격 감지 데이터셋에서, 훈련에서부터 시작하는 것, 사전 훈련된 네트워크를 미세 조정하는 것, 그리고 CNN을 특징 추출기로 사용하는 것과 같은 다양한 훈련 전략을 비교하기 위해.
• 사전 훈련된 CNN의 정확도가 ImageNet(사전 훈련의 기초)과 목표 데이터가 크게 다를 경우에 어떻게 영향을 받는지 평가하기 위해.
• 딥 러닝을 활용한 향후 원격 감지 영상 분류 작업을 위한 강력한 베이스라인을 수립하기 위해.

제안 방법

• ImageNet에서 사전 훈련된 전이 학습을 위해 두 가지 최신 CNN 아키텍처인 CaffeNet과 GoogLeNet을 채택한다.
• 세 가지 훈련 방식을 적용한다: 훈련에서부터 시작하기, 사전 훈련된 네트워크를 미세 조정하기(여러 층을 업데이트), 마지막 완전 연결 층을 고정된 특징 벡터로 사용하기.
• 수렴성과 일반화 성능 향상을 위해 데이터 증강과 학습률 스케줄링을 적용한다.
• 균형 잡힌 평가를 확보하기 위해 브라질 커피 풍경 데이터셋에 대해 5겹 교차 검증 전략을 사용한다.
• 정확도를 포함한 표준 분류 지표를 사용하여 다양한 방법 간의 성능를 비교한다.
• 목표 원격 감지 데이터에 특징를 적응시키기 위해, 더 낮은 초기 학습률을 사용하여 모든 또는 일부 층을 업데이트함으로써 네트워크를 미세 조정한다.

실험 결과

연구 질문

• RQ1 CaffeNet 및 GoogLeNet과 같은 사전 훈련된 CNN은 전통적인 수작업 특징 기반 기법들보다 원격 감지 영상 분류에서 뛰어난 성능을 낼 수 있는가?
• RQ2 제한된 원격 감지 데이터셋에서, 사전 훈련된 네트워크를 미세 조정하는 것과 훈련에서부터 시작하는 것 간의 정확도와 내구성은 어떻게 비교되는가?
• RQ3 목표 데이터가 ImageNet과 크게 다를 경우(예: 비광학적, SAR 유사 데이터), 사전 훈련된 CNN의 성능에 어떤 영향을 미치는가?
• RQ4 CNN을 고정된 특징 기반으로 사용하는 것(즉, 마지막에서 두 번째 층만 사용)이 엔드 투 엔드 미세 조정 대비 경쟁 가능한 성능을 낼 수 있는가?
• RQ5 내부 클래스 변동성이 높은 데이터셋, 예를 들어 브라질 커피 풍경 데이터셋에서 제안된 방법들은 어떤 성능을 보이는가?

주요 결과

• UC-Merced 데이터셋에서 제안된 방법은 CaffeNet을 사용한 훈련에서부터 시작한 GoogLeNet을 통해 91.83%의 분류 정확도를 달성하였으며, 이는 이전 최고 기법보다 약 3% 높은 성능이다.
• 사전 훈련된 네트워크를 미세 조정한 결과, CaffeNet을 사용해 90.94%의 정확도를 기록하여 제한된 데이터에서도 뛰어난 성능를 보였다.
• 브라질 커피 풍경 데이터셋에서는 GoogLeNet을 훈련에서부터 시작한 결과 91.83%의 정확도를 기록하였으며, 이는 [8]에서 보고된 이전 최고 기법보다 약 5% 높은 성능이다.
• 특징 벡터 방법(즉, CNN을 고정된 기술자로 사용)은 브라질 데이터셋에서 뚜렷하게 열등한 성능를 보였다(85.02%로 CaffeNet 기준), 이는 도메인 이동이 클 경우 이전 훈련된 특징의 이식 가능성에 제한이 있음을 시사한다.
• 특히 목표 데이터셋이 이미지 모달리티나 분포 면에서 ImageNet과 다를 경우, 미세 조정이 특징 추출보다 더 우수한 결과를 제공함을 확인하였다.
• 내부 클래스 변동성이 높고 도전적인 촬영 조건이 존재하는 상황에서도, 제안된 방법은 브라질 커피 풍경 데이터셋에서 약 92%의 정확도를 달성하여 그 내구성과 확장 가능성을 확인하였다.