[논문 리뷰] Conditional Random Field and Deep Feature Learning for Hyperspectral Image Segmentation

Fahim Irfan Alam, Jun Zhou외 4명|arXiv (Cornell University)|2017. 11. 13.

Remote-Sensing Image Classification참고 문헌 27인용 수 3

한 줄 요약

이 논문은 고분광 영상 분할을 위해 3D 합성곱 신경망(3D-CNN)과 깊이 있는 조건부 랜덤 필드(CRF)를 통합하는 새로운 딥러닝 프레임워크를 제안한다. 3D-CNN를 통해 스펙트럼-공간 특징을 추출하고, CNN 기반의 잠재변수와 복소화 블록을 갖춘 CRF를 통해 예측를 정밀하게 보정함으로써, 기준 데이터셋과 새로운 데이터셋에서 최신 기술 수준의 성능을 달성하며, 이미지당 추론 시간은 1.1분 이내이다.

ABSTRACT

Image segmentation is considered to be one of the critical tasks in hyperspectral remote sensing image processing. Recently, convolutional neural network (CNN) has established itself as a powerful model in segmentation and classification by demonstrating excellent performances. The use of a graphical model such as a conditional random field (CRF) contributes further in capturing contextual information and thus improving the segmentation performance. In this paper, we propose a method to segment hyperspectral images by considering both spectral and spatial information via a combined framework consisting of CNN and CRF. We use multiple spectral cubes to learn deep features using CNN, and then formulate deep CRF with CNN-based unary and pairwise potential functions to effectively extract the semantic correlations between patches consisting of three-dimensional data cubes. Effective piecewise training is applied in order to avoid the computationally expensive iterative CRF inference. Furthermore, we introduce a deep deconvolution network that improves the segmentation masks. We also introduce a new dataset and experimented our proposed method on it along with several widely adopted benchmark datasets to evaluate the effectiveness of our method. By comparing our results with those from several state-of-the-art models, we show the promising potential of our method.

연구 동기 및 목표

• 스펙트럼 및 공간 정보를 효과적으로 통합하여 고분광 영상 분할 과제를 해결하기 위해.
• 조건부 랜덤 필드(CRF)와 딥 네트워크를 통합하여 문맥적 의존성을 모델링함으로써 분할 정확도를 향상시키기 위해.
• 데이터 증강을 통해 훈련 샘플 수를 늘림으로써 딥 러닝 모델의 과적합을 줄이기 위해.
• 초기 CNN 예측을 CRF 프레임워크 내의 복소화 블록을 활용하여 정교화된 분할 마스크로 향상시키기 위해.
• 포괄적인 성능 평가를 위해 기존 기준 데이터셋과 새로 도입된 데이터셋 모두에서 방법을 평가하기 위해.

제안 방법

• 다양한 스펙트럼 큐브에서 3D 데이터의 파장 간 상관관계를 캐치할 수 있도록 3D-CNN을 활용해 깊이 있는 스펙트럼-공간 특징을 추출한다.
• 단일 및 이원 잠재변수 모두를 CNN 특징에서 유도하는 깊이 있는 CRF를 구성함으로써, 문맥적 관계를 엔드 투 엔드로 학습할 수 있도록 한다.
• 분할 마스크의 정교함과 공간 일관성을 향상시키기 위해 복소화 블록을 CRF 이원 잠재변수 계산에 통합한다.
• 훈련 샘플 수를 늘리고 CNN 훈련 과정에서의 과적합을 완화하기 위해 데이터 증강 기법을 적용한다.
• 레이블 수와 간선 수에 대해 선형 시간으로 계산 복잡도를 줄이기 위해 효율적 근사 기법을 사용한 평균장 추론을 적용한다.
• 특징 학습과 CRF 파라미터 추정을 동시에 최적화하는 방식으로 CNN-CRF 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 단일 CNN 또는 CRF보다도 3D-CNN과 깊이 있는 CRF를 융합한 프레임워크가 고분광 영상 분할 성능을 향상시킬 수 있는가?
• RQ2 딥 CRF 내에서 CNN 기반의 단일 및 이원 잠재변수를 통합할 경우, 공간-스펙트럼 의존성을 얼마나 효과적으로 모델링할 수 있는가?
• RQ3 CRF에 복소화 블록을 포함시킬 경우 분할 마스크의 품질과 공간 일관성은 어느 정도 향상되는가?
• RQ4 공개 및 새로 도입된 데이터셋 모두에서 제안된 방법은 최신 기술 수준의 모델들과 비교해 성능과 추론 효율성 면에서 어떻게 성과를 내는가?
• RQ5 제한된 훈련 샘플이 존재하는 고분광 영상 분할에서 데이터 증강이 일반화 능력을 크게 향상시키고 과적합을 줄이는 데 효과적인가?

주요 결과

• 제안된 방법은 인디언 파인스 데이터셋(91.25%)과 파비아 유니버시티 데이터셋(92.15%)에서 기존 최신 기술 수준의 모델들을 능가하는 최고의 전체 정확도를 달성했다.
• 새로 도입된 그리피스-USGS 데이터셋에서 85.97%의 전체 정확도를 기록하여 다양한 데이터셋에 대한 뛰어난 일반화 능력을 입증했다.
• 그리피스-USGS 데이터셋에서의 추론 시간은 약 1.08분으로, 다른 딥러닝 기반 모델들과 유사하며 실시간 응용에 적합한 수준이었다.
• CRF 이원 잠재변수에 복소화 블록을 통합함으로써 분할 마스크의 매끄러움과 정확도가 크게 향상되었다.
• 데이터 증강이 과적합을 효과적으로 줄이고, 특히 낮은 데이터 환경에서 모델의 일반화 능력을 향상시켰다.
• CNN 기반의 잠재변수를 갖춘 깊이 있는 CRF 프레임워크는 전통적인 CRF나 단독 CNN 접근 방식보다 장거리 문맥적 의존성을 더 잘 포착하는 것으로 나타났다.