[논문 리뷰] Successive Embedding and Classification Loss for Aerial Image Classification

Jiayun Wang, Patrick Virtue외 1명|arXiv (Cornell University)|2017. 12. 05.

Advanced Neural Network Applications참고 문헌 36인용 수 7

한 줄 요약

이 논문은 분류 손실과 분류기 공간에서 적용되는 임bedding 손실을 조합한 이중 손실 훈련 전략을 제안한다—softmax 이전의 분류기 공간에서—일반화 성능을 크게 향상시킨다. 분류기 공간에서 의미적 분류와 클래스 간 분리도를 동시에 최적화함으로써, 과적합을 줄이고 MSTAR(98.2% 테스트 정확도) 및 AID(모델 VGG16 기준 97.0%) 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Deep neural networks can be effective means to automatically classify aerial images but is easy to overfit to the training data. It is critical for trained neural networks to be robust to variations that exist between training and test environments. To address the overfitting problem in aerial image classification, we consider the neural network as successive transformations of an input image into embedded feature representations and ultimately into a semantic class label, and train neural networks to optimize image representations in the embedded space in addition to optimizing the final classification score. We demonstrate that networks trained with this dual embedding and classification loss outperform networks with classification loss only. %We also study placing the embedding loss on different network layers. We also find that moving the embedding loss from commonly-used feature space to the classifier space, which is the space just before softmax nonlinearization, leads to the best classification performance for aerial images. Visualizations of the network's embedded representations reveal that the embedding loss encourages greater separation between target class clusters for both training and testing partitions of two aerial image classification benchmark datasets, MSTAR and AID. Our code is publicly available on GitHub.

연구 동기 및 목표

• 제한된 훈련 데이터와 훈련 및 테스트 환경 간 도메인 이탈로 인한 항공 영상 분류의 과적합 문제를 해결한다.
• 표준 분류 손실을 초월해 분류 성능을 향상시키기 위해 판별적 특징 표현을 강화함으로써 딥 네트워크의 일반화 능력을 향상시킨다.
• 임베딩 손실을 적용할 최적의 위치—특징 공간 vs. 분류기 공간—를 조사하여 더 높은 안정성과 정확도를 확보한다.
• SAR 및 항공 영상 장면 분류 맥락에서 다양한 임베딩 손실 함수(대비 손실, 중심 손실)의 효과를 평가한다.
• 임베딩 손실을 특징 공간에서 분류기 공간으로 옮기면 더 높은 성능을 달성함을 입증한다.

제안 방법

• 표준 교차 엔트로피 분류 손실과 추가적인 대비 또는 중심 손실을 함께 최적화하는 이중 목표로 딥 네트워크를 훈련시킨다.
• 특징 공간이 아닌, 소프트맥스 비선형성 이전의 선형 투영 레이어인 분류기 공간에서만 임베딩 손실을 적용한다.
• 분류기 공간에서 클래스 간 간격을 최대화하고 내부 클래스 분산을 최소화하기 위해 대비 손실을 사용한다.
• 분류기 공간에서 동일한 클래스의 특징을 그들의 클래스 중심으로 끌어당기기 위해 중심 손실을 사용한다.
• 분류 손실과 임베딩 손실을 동시에 최적화하기 위해 확률적 경사 하강법을 사용해 네트워크를 엔드 투 엔드로 학습시킨다.
• 클러스터 간 분리도와 내부 클래스의 조밀함을 분석하기 위해 분류기 공간 내 임베딩 표현을 시각화한다.

실험 결과

연구 질문

• RQ1 특징 공간 대비 분류기 공간에서 임베딩 손실을 적용할 경우 항공 영상 분류의 일반화 성능이 향상되는가?
• RQ2 임베딩 손실 함수의 선택(대비 vs. 중심 손실)이 SAR 및 항공 영상 인식에서 정확도와 이방성 탐지 성능에 미치는 영향은 어떠한가?
• RQ3 이중 손실 전략은 도메인 이탈 또는 데이터 증강 조건에서도 훈련 정확도와 테스트 정확도 간 격차를 줄일 수 있는가?
• RQ4 분류기 공간으로 임베딩 손실을 이동시키면 최종 표현에서 더 나은 클러스터 간 분리도와 감소된 내부 클래스 분산이 달성되는가?
• RQ5 이중 손실 접근법은 MSTAR 및 AID와 같은 벤치마크 데이터셋에서 성능 향상에 얼마나 기여하는가?

주요 결과

• 분류기 공간에서 임베딩 손실을 적용한 결과, MSTAR SAR 데이터셋에서 98.2%의 테스트 정확도를 기록했으며, 단일 분류 손실 기반 베이스라인(91.4%)보다 뚜렷이 뛰어나다.
• AID 항공 영상 장면 분류 데이터셋에서, 분류기 공간에 중심 손실을 적용한 이중 손실 방법은 VGG16 기반으로 97.0%의 정확도를 달성했으며, 베이스라인 대비 2% 향상되었다.
• 분류기 공간에 적용한 대비 손실은 90% 탐지율에서 오류 경고 확률을 20.5%로 낮춰 중심 손실 및 특징 공간에서의 임베딩 손실보다 뛰어난 성능을 보였다.
• 시각화 결과, 분류기 공간에서의 임베딩 손실 적용은 특히 테스트 샘플에서 클래스 간 분리도를 증가시키고 내부 클래스 분산을 감소시키는 것으로 나타났다.
• 과적합이 감소했음을 입증하기 위해 훈련 정확도와 테스트 정확도 간 격차가 작아졌으며, 데이터 증강 및 도메인 이탈에 대한 강건성도 향상되었다.
• 특징 공간에 중심 손실을 적용하면 성능 향상이 없었지만, 동일한 손실을 분류기 공간에 적용할 경우 두 데이터셋 모두에서 일관된 성능 향상이 관찰되었다.