[논문 리뷰] Fast Deep Learning for Automatic Modulation Classification

Sharan Ramjee, Shengtai Ju외 4명|arXiv (Cornell University)|2019. 01. 16.

Wireless Signal Modulation Classification참고 문헌 35인용 수 136

한 줄 요약

본 논문은 자동 변조 분류를 위한 다섯 가지 심층 신경망 아키텍처를 평가하고, (PCA, 하위 샘플링, SNR 기반 훈련 선택)과 같은 방법을 개발하여 최소한의 정확도 손실로 학습 시간을 대폭 단축합니다.

ABSTRACT

In this work, we investigate the feasibility and effectiveness of employing deep learning algorithms for automatic recognition of the modulation type of received wireless communication signals from subsampled data. Recent work considered a GNU radio-based data set that mimics the imperfections in a real wireless channel and uses 10 different modulation types. A Convolutional Neural Network (CNN) architecture was then developed and shown to achieve performance that exceeds that of expert-based approaches. Here, we continue this line of work and investigate deep neural network architectures that deliver high classification accuracy. We identify three architectures - namely, a Convolutional Long Short-term Deep Neural Network (CLDNN), a Long Short-Term Memory neural network (LSTM), and a deep Residual Network (ResNet) - that lead to typical classification accuracy values around 90% at high SNR. We then study algorithms to reduce the training time by minimizing the size of the training data set, while incurring a minimal loss in classification accuracy. To this end, we demonstrate the performance of Principal Component Analysis in significantly reducing the training time, while maintaining good performance at low SNR. We also investigate subsampling techniques that further reduce the training time, and pave the way for online classification at high SNR. Finally, we identify representative SNR values for training each of the candidate architectures, and consequently, realize drastic reductions of the training time, with negligible loss in classification accuracy.

연구 동기 및 목표

• 다양한 SNR 범위에서 변조 분류 정확도를 최대화하는 심층 신경망 아키텍처를 식별한다.
• CNN, DenseNet, CLDNN, LSTM, ResNet의 변조 인식 성능을 정량화한다.
• 정확도 손실 없이 학습 시간을 줄이기 위한 전략(차원 축소 및 하위 샘플링)을 개발하고 평가한다.

제안 방법

• RadioML2016.10b 데이터셋에서 10가지 변조 유형에 대해 다섯 가지 아키텍처(CNN, DenseNet, CLDNN, LSTM, ResNet)를 비교한다.
• 다른 영역에 가장 적합한 아키텍처를 식별하기 위해 고-SNR 및 저-SNR 성능을 평가한다.
• 입력 차원을 축소하기 위해 PCA를 적용하고 정확도와 학습 시간에 대한 영향을 평가한다.
• 입력에 대해 균일한, 임의의, 크기 기반 서브샘플링을 적용하고 학습 시간 절감과 정확도를 측정한다.
• 빠른 온라인/적응 재학습을 가능하게 하는 대표적인 SNR 훈련 값을 조사한다, 최소한의 정확도 손실로.

실험 결과

연구 질문

• RQ1 SNR 범위(-20 dB to 18 dB)에서 가장 높은 변조 분류 정확도를 보이는 심층 신경망 아키텍처는 무엇인가?
• RQ2 정확도 손실을 최소화하면서 학습 시간을 크게 줄일 수 있는 방법은 무엇인가(예: PCA, 서브샘플링 또는 SNR 중심 훈련)?
• RQ3 다른 SNR 구간에서 CLDNN, ResNet, LSTM의 상대적 강점은 무엇인가?
• RQ4 온라인 재학습의 가능성에 차원 축소 및 서브샘플링 방법이 어떤 영향을 미치는가?

주요 결과

• CLDNN, ResNet, 및 LSTM이 최고 성능을 달성하며, 고-SNR에서 LSTM과 ResNet의 정확도는 약 92%에 이른다.
• ResNet은 고 SNR에서 92% 정확도를 제공하며 학습 속도가 빠르다(에포크당 58초).
• LSTM과 CLDNN은 서로 다른 SNR 구간에서 최상으로 성능을 발휘하며, CLDNN과 ResNet은 저 SNR에서, LSTM과 ResNet은 고 SNR에서 두각을 나타낸다.
• PCA는 차원 축소에 따라 학습 시간을 선형적으로 감소시키며, 정확도 손실이 아주 작은 경우 최대 약 2%까지의 손실로 약 20배 이상의 시간 절감이 보고된다.
• 서브샘플링 전략(균일, 임의, 크기 기반) 역시 학습 시간을 줄이고 정확도를 보존할 수 있으며, 아키텍처와 SNR 구간에 따라 트레이드오프가 있다.
• 대표적인 훈련 SNR 값을 선택(예: 두 개의 SNR)하면 특정 아키텍처에서 (특히 LSTM) 정확도 손실 없이 학습 시간을 최대 10x까지 크게 줄일 수 있다.