[논문 리뷰] Fully Dense Neural Network for the Automatic Modulation Recognition

Miao Du, Qin Yu외 4명|arXiv (Cornell University)|2019. 12. 07.

Wireless Signal Modulation Classification참고 문헌 23인용 수 4

한 줄 요약

이 논문은 스펙트로그램 변환 없이 I/Q 데이터를 직접 처리하는 Fully Dense Neural Network (FDNN)을 제안한다. 잔차 블록, 밀집 연결, 신호 주의 메커니즘을 조합함으로써 RML2016.10a 데이터셋에서 CNN 및 ResNet 기준 모델 대비 훨씬 낮은 모델 복잡도로 더 높은 인식 정확도를 달성한다.

ABSTRACT

Nowadays, we mainly use various convolution neural network (CNN) structures to extract features from radio data or spectrogram in AMR. Based on expert experience and spectrograms, they not only increase the difficulty of preprocessing, but also consume a lot of memory. In order to directly use in-phase and quadrature (IQ) data obtained by the receiver and enhance the efficiency of network extraction features to improve the recognition rate of modulation mode, this paper proposes a new network structure called Fully Dense Neural Network (FDNN). This network uses residual blocks to extract features, dense connect to reduce model size, and adds attentions mechanism to recalibrate. Experiments on RML2016.10a show that this network has a higher recognition rate and lower model complexity. And it shows that the FDNN model with dense connections can not only extract features effectively but also greatly reduce model parameters, which also provides a significant contribution for the application of deep learning to the intelligent radio system.

연구 동기 및 목표

• 기존의 전문가가 설계한 특징 또는 스펙트로그램 전처리에 의존하는 전통적 AMR 방법의 한계를 해결하기 위해, 계산 비용과 메모리 사용량을 증가시키는 문제를 해결한다.
• 딥러닝을 통해 원시 I/Q 데이터를 직접 처리하여 자동 변조 인식의 정확도를 향상시키기 위해 노력한다.
• 모델 복잡도를 줄이고 오버피팅을 감소시키면서도 AMR에서 특징 추출 효율성을 향상시키기 위해 노력한다.
• 종단간 I/Q 기반 변조 인식에서 밀집 연결과 주의 메커니즘의 효과성을 조사한다.

제안 방법

• FDNN 아키텍처는 깊은 네트워크의 학습을 촉진하고 기울기 흐름을 향상시키기 위해 잔차 블록을 사용한다.
• 잔차 블록 내 모든 레이어 간에 밀집 연결을 구현하여 특징 재사용을 촉진하고 학습 가능한 파rameter 수를 감소시킨다.
• 각 잔차 블록에 신호 주의(SA) 메커니즘을 통합하여 중요도에 따라 특징 맵을 재조정함으로써 분류 성능 향상을 위한 표현을 강화한다.
• 네트워크는 RML2016.10a 데이터셋의 원시 I/Q 데이터를 기반으로 종단간(end-to-end)으로 학습되며, 중간 단계의 스펙트로그램 또는 변조 도형 표현을 피한다.
• 최소한의 파rameter 수로도 높은 성능 유지를 위해 아키텍처를 설계하여 일반화 성능 향상과 오버피팅 감소를 도모한다.
• 실험은 RML2016.10a 벤치마크에서 표준 지표를 사용해 FDNN을 CNN, ResNet, DenseNet, CLDNN 모델과 비교한다.

실험 결과

연구 질문

• RQ1 원시 I/Q 데이터를 직접 처리할 때, 완전 밀집 신경망 아키텍처가 기존의 CNN 및 ResNet 모델보다 더 높은 변조 인식 정확도를 달성할 수 있는가?
• RQ2 밀집 연결은 모델 복잡도를 얼마나 줄일 수 있으며, 이는 특징 추출 능력 유지 또는 향상에 어떤 영향을 미치는가?
• RQ3 신호 주의 메커니즘이 특징 맵을 재조정하고 I/Q 기반 AMR의 인식 성능 향상에 얼마나 효과적인가?
• RQ4 더 깊은 아키텍처임에도 불구하고, 제안된 FDNN 아키텍처는 ResNet-50와 같은 더 깊은 네트워크보다 오버피팅을 줄이는가?

주요 결과

• FDNN은 RML2016.10a 데이터셋에서 CNN2-IQ, ResNet-50, ResNet-34보다 더 높은 평균 인식률을 기록했으며, ResNet-50 대비 5.2% 향상된 성능을 보였다.
• CNNR-IQFOC 모델 대비 학습 가능한 파rameter 수를 약 80배 감소시켜 높은 효율성 향상을 입증했다.
• 더 깊은 아키텍처임에도 불구하고, FDNN은 DenseNet 및 CLDNN보다 낮은 오버피팅을 보였으며, 테스트 세트 성능이 검증 세트 성능을 뛰어넘는 것으로 나타났다.
• 신호 주의 메커니즘이 특징 맵을 효과적으로 재조정했으며, 초기 레이어에서 높은 주의 가중치가 관찰되었고, 다양한 변조 유형 간 공통적인 중요도가 나타났다.
• 주의 메커니즘은 저층 특징이 분류에 더 중요하다는 것을 드러내어, 초기 레이어가 더 일반화 가능한 변조 특징을 더 잘 포착하고 있음을 시사한다.
• 잔차 블록, 밀집 연결, 주의 메커니즘의 조합이 모델 복잡도를 감소시키면서도 향상된 학습 효율성과 뛰어난 성능을 달성했다.