[논문 리뷰] LiteDenseNet: A Lightweight Network for Hyperspectral Image Classification

Rui Li, Chenxi Duan|arXiv (Cornell University)|2020. 04. 17.

Remote-Sensing Image Classification참고 문헌 55인용 수 8

한 줄 요약

LiteDenseNet은 계산 비용과 파라미터 수를 줄이면서도 높은 정확도를 유지하는 고분광 영상 분류를 위한 경량화된 컨volutional 신경망이다. 3D 이방향 밀집층과 그룹 컨볼루션을 통합하여, 심한 레이블 부족 조건에서도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Hyperspectral Image (HSI) classification based on deep learning has been an attractive area in recent years. However, as a kind of data-driven algorithm, deep learning method usually requires numerous computational resources and high-quality labelled dataset, while the cost of high-performance computing and data annotation is expensive. In this paper, to reduce dependence on massive calculation and labelled samples, we propose a lightweight network architecture (LiteDenseNet) based on DenseNet for Hyperspectral Image Classification. Inspired by GoogLeNet and PeleeNet, we design a 3D two-way dense layer to capture the local and global features of the input. As convolution is a computationally intensive operation, we introduce group convolution to decrease calculation cost and parameter size further. Thus, the number of parameters and the consumptions of calculation are observably less than contrapositive deep learning methods, which means LiteDenseNet owns simpler architecture and higher efficiency. A series of quantitative experiences on 6 widely used hyperspectral datasets show that the proposed LiteDenseNet obtains the state-of-the-art performance, even though when the absence of labelled samples is severe.

연구 동기 및 목표

• 고분광 영상 분류에서 딥러닝의 계산 및 데이터 주석화 요구를 줄이기 위해.
• 적은 파라미터와 낮은 FLOPs를 유지하면서도 높은 성능을 내는 경량 네트워크 아키텍처를 설계하기 위해.
• 낮은 감독 조건에서 일반화 능력을 향상시켜 제한된 고분광 레이블 데이터 문제를 해결하기 위해.
• 그룹 컨볼루션과 이방향 특징 학습과 같은 효율적인 연산을 통합하여 효율성과 특징 표현 능력을 향상시키기 위해.

제안 방법

• 고분광 데이터의 국소적 및 전역적 공간-스펙트럼 특징을 모두 포착하는 3D 이방향 밀집층을 제안한다.
• 네트워크 내 파라미터 수와 계산 복잡도를 줄이기 위해 그룹 컨볼루션을 도입한다.
• DenseNet의 밀집 연결 패턴을 변형하여 특징 재사용과 기울기 흐름을 향상시킨다.
• GoogLeNet과 PeleeNet의 아키텍처 통찰을 활용하여 성능을 훼손하지 않으면서도 효율성을 최적화한다.
• 정확도를 유지하면서도 FLOPs와 메모리 사용을 최소화하기 위해 단순화되고 浅층적인 네트워크 설계를 채택한다.

실험 결과

연구 질문

• RQ1 경량 네트워크 아키텍처가 계산 비용을 줄이고도 고분광 영상 분류에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 제안된 3D 이방향 밀집층이 표준 3D 컨볼루션에 비해 특징 학습을 어떻게 향상시키는가?
• RQ3 그룹 컨볼루션은 정확도를 떨어뜨리지 않고 파라미터 수와 FLOPs를 얼마나 줄이는가?
• RQ4 LiteDenseNet은 제한된 레이블이 있는 훈련 샘플 조건에서 얼마나 잘 일반화되는가?

주요 결과

• LiteDenseNet은 널리 사용되는 여섯 개의 고분광 데이터셋에서 최신 기술 수준의 분류 정확도를 달성한다.
• 기존 딥러닝 방법에 비해 파라미터 수와 FLOPs를 크게 줄였다.
• 심한 레이블 부족 조건에서도 높은 성능을 유지하여 강력한 일반화 능력을 입증한다.
• 그룹 컨볼루션과 3D 이방향 밀집층의 통합이 효율성과 정확도 사이의 균형을 효과적으로 달성한다.