[논문 리뷰] Embedded Self-Distillation in Compact Multi-Branch Ensemble Network for Remote Sensing Scene Classification

Qi Zhao, Yujing Ma외 2명|arXiv (Cornell University)|2021. 04. 01.

Remote-Sensing Image Classification참고 문헌 65인용 수 29

한 줄 요약

이 논문은 원격 감지 경 Scene 분류를 위한 임베디드 자기 분류 학습을 내장한 컴팩트한 다중 브랜치 앙상블 네트워크인 ESD-MBENet을 제안한다. 브랜치 간의 로짓과 중간 특징을 융합하고, 전체 앙상블 네트워크를 교사로 하여 단일 주 브랜치로 자기 분류 학습을 통해 지식을 전달함으로써, AID, NWPU-RESISC45, UC-Merced 데이터셋에서 최신 기술 수준의 정확도를 달성하면서도, 훈련 후에 하위 브랜치를 제거하고 단일 주 브랜치만을 사용하여 효율적인 추론을 가능하게 한다.

ABSTRACT

Remote sensing (RS) image scene classification task faces many challenges due to the interference from different characteristics of different geographical elements. To solve this problem, we propose a multi-branch ensemble network to enhance the feature representation ability by fusing features in final output logits and intermediate feature maps. However, simply adding branches will increase the complexity of models and decline the inference efficiency. On this issue, we embed self-distillation (SD) method to transfer knowledge from ensemble network to main-branch in it. Through optimizing with SD, main-branch will have close performance as ensemble network. During inference, we can cut other branches to simplify the whole model. In this paper, we first design compact multi-branch ensemble network, which can be trained in an end-to-end manner. Then, we insert SD method on output logits and feature maps. Compared to previous methods, our proposed architecture (ESD-MBENet) performs strongly on classification accuracy with compact design. Extensive experiments are applied on three benchmark RS datasets AID, NWPU-RESISC45 and UC-Merced with three classic baseline models, VGG16, ResNet50 and DenseNet121. Results prove that our proposed ESD-MBENet can achieve better accuracy than previous state-of-the-art (SOTA) complex models. Moreover, abundant visualization analysis make our method more convincing and interpretable.

연구 동기 및 목표

• 다양한 지리적 요소로 인해 특징 표현에 간섭을 일으키는 원격 감지 경 Scene을 분류하는 데 도전하는 것.
• 특히 임베디드 장치에서의 실질적 구현에 있어 다중 브랜치 네트워크의 높은 계산 및 메모리 비용을 해결하는 것.
• 다중 브랜치에서 유도된 다수 수준의 특징과 로짓을 종합하여 엔드 투 엔드 학습 가능한 아키텍처에서 특징 표현을 향상시키는 것.
• 전체 앙상블 네트워크에서 지식을 단일 주 브랜치로 분류 학습함으로써, 훈련 후 하위 브랜치를 제거하고 추론을 효율적으로 수행할 수 있도록 하는 것.
• 컴팩트하고 구현 가능한 모델 아키텍처로 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 가중치 공유 블록을 사용하여 최소한의 파라미터 증가로 다중 경로를 생성하는 컴팩트한 다중 브랜치 앙상블 네트워크(ESD-MBENet-v1 및 v2)를 설계한다.
• ESD-MBENet-v1에서 지그재그 브랜치 구조를 도입하여 공유 블록의 다양한 조합으로부터 다각도적인 출력 로짓을 생성한다.
• ESD-MBENet-v2를 제안하여 분할 지점의 깊이에 관계없이 브랜치를 유연하게 생성할 수 있도록 하여 가중치 공유와 구조적 효율성을 극대화한다.
• 최종 로짓과 중간 특징 맵 양쪽에 자기 분류 학습(SD)을 통합하여, 앙상블 네트워크를 교사로 하여 주 브랜치 학생 네트워크를 안내한다.
• 로짓에 소프트 레이블 지식 분류 학습과 특징 맵 분류 학습을 사용하여 앙상블에서 주 브랜치로 rich한 표현을 전달한다.
• SD를 통해 훈련을 완료한 후 모든 하위 브랜치를 제거하고 추론 시에 오직 주 브랜치만을 배포함으로써 복잡도를 감소시키면서도 높은 정확도를 유지한다.

실험 결과

연구 질문

• RQ1 공유 가중치를 갖는 컴팩트한 다중 브랜치 앙상블 네트워크가 원격 감지 경 Scene 분류의 특징 표현을 향상시킬 수 있는가?
• RQ2 로짓과 중간 특징 맵 양쪽에 자기 분류 학습을 적용함으로써 다중 브랜치 앙상블에서 단일 주 브랜치로 지식을 효과적으로 전달할 수 있는가?
• RQ3 분류 학습된 주 브랜치는 전체 앙상블 모델과 유사한 성능을 달성하면서도 추론 복잡도를 크게 감소시킬 수 있는가?
• RQ4 기준 원격 감지 데이터셋에서 최신 기술 수준의 모델들과 비교해 볼 때, 제안된 방법은 정확도와 효율성 측면에서 어떤가?
• RQ5 제안된 방법은 원격 감지 외의 자연 경 Scene 분류 작업으로까지 일반화 가능한가?

주요 결과

• ESD-MBENet는 AID, NWPU-RESISC45, UC-Merced 세 가지 기준 원격 감지 데이터셋에서 최신 기술 수준의 분류 정확도를 달성하여 이전의 SOTA 모델을 초월한다.
• ResNet50 백본을 사용한 AID 데이터셋에서 ESD-MBENet-v2는 95.78%의 정확도를 기록하여 베이스라인 및 이전 SOTA 방법을 모두 능가한다.
• DenseNet121를 사용한 NWPU-RESISC45 데이터셋에서 ESD-MBENet-v2는 95.42%의 정확도를 달성하여 다양한 백본에 걸쳐 강력한 일반화 성능을 보였다.
• 제거 실험을 통해 로짓과 특징 맵 양쪽에 대한 동시 분류 학습이 로짓만 분류 학습하는 것보다 더 우수한 성능을 내는 것으로 확인되었다.
• T-SNE 및 Grad-CAM를 통한 시각화 결과, ESD-MBENet는 특히 깊은 층에서 더 구분력 있고 집중적인 표현을 학습하는 것으로 나타났다.
• 앙상블 아키텍처임에도 불구하고 최종 추론 모델은 단일 주 브랜치로 구성되어 FLOPs와 파라미터 수를 감소시키면서도 높은 정확도를 유지한다.