[논문 리뷰] Deep Discriminative Representation Learning with Attention Map for Scene Classification

Jun Li, Daoyu Lin외 3명|arXiv (Cornell University)|2019. 02. 21.

Advanced Image and Video Retrieval Techniques참고 문헌 49인용 수 4

한 줄 요약

이 논문은 원격 감지 풍경 분류를 위한 딥 디스크리미네이티브 표현 학습 프레임워크인 DDRL-AM을 제안한다. 이는 클래스 활성화 맵(CAMs)을 주의 지도로 통합하고, 교차 엔트로피 손실과 중심 손실을 조합하여 특징의 구분 능력을 향상시킨다. 이중 스트림 CNN 아키텍처에서 RGB 특징와 주의 맵을 융합하고 중심 손실로 최적화함으로써, NWPU-RESISC45 및 UC-Merced에서 최신 기술 수준의 성능을 달성한다. 17개 클래스에서 100% 정확도를 기록했으며, 궁전 및 철도역과 같은 도전적인 클래스에서의 성능 향상도 두드러진다.

ABSTRACT

Learning powerful discriminative features for remote sensing image scene classification is a challenging computer vision problem. In the past, most classification approaches were based on handcrafted features. However, most recent approaches to remote sensing scene classification are based on Convolutional Neural Networks (CNNs). The de facto practice when learning these CNN models is only to use original RGB patches as input with training performed on large amounts of labeled data (ImageNet). In this paper, we show class activation map (CAM) encoded CNN models, codenamed DDRL-AM, trained using original RGB patches and attention map based class information provide complementary information to the standard RGB deep models. To the best of our knowledge, we are the first to investigate attention information encoded CNNs. Additionally, to enhance the discriminability, we further employ a recently developed object function called "center loss," which has proved to be very useful in face recognition. Finally, our framework provides attention guidance to the model in an end-to-end fashion. Extensive experiments on two benchmark datasets show that our approach matches or exceeds the performance of other methods.

연구 동기 및 목표

• 원격 감지 영상 풍경 분류에서 큰 내부 클래스 변동성, 작은 간클래스 차이, 소형 객체 탐지 문제를 해결한다.
• 사전 훈련된 모델에서 유도된 주의 맵을 통합하여 영상의 주목할 만한 영역을 강조함으로써 특징의 구분 능력을 향상시킨다.
• 훈련 중 표준 교차 엔트로피 손실과 중심 손실을 통합하여 모델의 일반화 능력과 클래스 간 분리 능력을 향상시킨다.
• 주의 맵을 지도로 사용하여 특징 학습을 더 디스크리미네이티브한 방식으로 개선하는 엔드 투 엔드 훈련 가능한 프레임워크를 개발한다.
• 주목적 기반 특징 지도와 중심 손실이 시각적으로 유사하거나 소형 객체에 대해 잘못 분류되는 것을 줄이는 데 효과적인지 입증한다.

제안 방법

• 이중 스트림 CNN 아키텍처를 구축한다: 하나의 스트림은 원본 RGB 패치를 처리하고, 다른 하나는 사전 훈련된 모델을 통해 Grad-CAM로 생성된 클래스 활성화 맵(CAMs)을 처리한다.
• 특징 맵 수준에서 RGB와 CAM 특징을 융합하여 주의 지도 기반 표현 학습을 가능하게 한다.
• 통합 손실 함수를 사용하여 모델을 훈련한다: 분류를 위한 표준 교차 엔트로피 손실과 같은 클래스의 특징를 임베딩 공간에서 더 가깝게 만드는 중심 손실.
• 중심 손실을 사용하여 내부 클래스의 밀도를 높여 내부 클래스 변동성을 줄이고 간클래스 분리 능력을 향상시킨다.
• 엔드 투 엔드 훈련을 통해 주의 맵 생성과 특징 학습 과정을 동시에 최적화한다.
• t-SNE 시각화를 활용하여 고차원 특징 공간을 분석하고 학습된 표현의 군집화 행동을 검증한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 모델에서 유도된 주의 맵이 원격 감지 풍경 분류를 향상시키기 위해 의미 있는 공간 지도를 제공할 수 있는가?
• RQ2 교차 엔트로피 손실과 중심 손실을 조합하면 원격 감지 영상 분류에서 특징의 구분 능력을 향상시킬 수 있는가?
• RQ3 주의 맵의 통합은 시각적으로 유사한 클래스들(예: 고속도로, 철도, 런웨이)을 구분하는 데 모델의 능력에 어떤 영향을 미치는가?
• RQ4 기본 CNN 및 기존 메트릭 학습 방법에 비해 제안된 DDRL-AM 프레임워크는 잘못 분류율을 어느 정도 감소시킬 수 있는가?
• RQ5 주의 지도 기반 특징 학습은 골프 코스나 비행기와 같은 소형 또는 모호한 객체에서 성능 향상에 기여할 수 있는가?

주요 결과

• 제안된 DDRL-AM 방법은 NWPU-RESISC45 데이터셋의 45개 클래스 중 17개에서 100% 분류 정확도를 달성하여 강력한 구분 능력을 보였다.
• 궁전 및 철도역 클래스의 분류 정확도가 각각 0.12와 0.14 향상되어 내부 클래스 변동성으로 인한 잘못 분류를 줄였다.
• NWPU-RESISC45 및 UC-Merced 데이터셋의 혼동 행렬은 특히 유사한 클래스 간 잘못 분류가 크게 줄어들어 더 깔끔한 구조를 보였다.
• t-SNE 시각화 결과 중심 손실이 내부 클래스 특징의 군집화를 더욱 강화하고 임베딩 공간에서 간클래스 특징 간 분리도 향상됨을 확인했다.
• 주의 맵과 중심 손실의 통합은 모든 평가 지표에서 성능 향상을 입증함으로써 더 견고하고 구분 능력이 뛰어난 특징 공간을 제공한다.
• 두 벤치마크 데이터셋에서 최신 기술 수준의 접근법을 초월하여, 원격 감지 풍경 분류의 핵심 과제를 효과적으로 해결함을 확인했다.