[논문 리뷰] Knowledge Distillation for mmWave Beam Prediction Using Sub-6 GHz Channels

Sina Tavakolian, Nhan Thanh Nguyen외 2명|arXiv (Cornell University)|2026. 02. 04.

Millimeter-Wave Propagation and Modeling인용 수 0

한 줄 요약

본 논문은 대형 교사 모델에서 지식 증류를 통해 소형 학생 모델을 개발하여 sub-6 GHz 채널로부터 mmWave 빔을 예측하고, 약 99% 적은 매개변수 및 FLOPs로 교사에 근접한 정확도를 달성한다.

ABSTRACT

Beamforming in millimeter-wave (mmWave) high-mobility environments typically incurs substantial training overhead. While prior studies suggest that sub-6 GHz channels can be exploited to predict optimal mmWave beams, existing methods depend on large deep learning (DL) models with prohibitive computational and memory requirements. In this paper, we propose a computationally efficient framework for sub-6 GHz channel-mmWave beam mapping based on the knowledge distillation (KD) technique. We develop two compact student DL architectures based on individual and relational distillation strategies, which retain only a few hidden layers yet closely mimic the performance of large teacher DL models. Extensive simulations demonstrate that the proposed student models achieve the teacher's beam prediction accuracy and spectral efficiency while reducing trainable parameters and computational complexity by 99%.

연구 동기 및 목표

• 무엇을 달성하려는지: sub-6 GHz 채널로부터 최적의 mmWave 빔 예측을 유도하여 전체 빔 훈련의 비용을 최소화한다.
• 대형 교사로부터 경량 학생으로 지식을 전달하기 위한 KD 기반 프레임워크를 제안한다.
• IKD와 RKD 전략 및 자체 증류를 포함한 소형 빔포머를 개발하고 비교한다.
• 소형 학생 모델이 교사에 근접한 빔 정확도와 스펙트럴 효율을 달성함을 입증한다.
• 복잡도 감소를 정량화하고 DeepMIMO 기반 데이터세트에서 검증한다.

제안 방법

• 교차 엔트로피 손실을 사용하여 sub-6 GHz 채널 입력을 mmWave 빔 클래스에 매핑하는 고용량 교사 모델을 학습한다.
• 두 가지 KD 전략: 개별 KD(IKD)와 관계형 KD(RKD)를 통해 지상을 경량 학생 모델로 증류한다.
• IKD는 교사 소프트 타깃과 실제 정답 레이블을 온도 매개변수와 함께 결합하여 학생을 안내한다.
• RKD는 미니배치 간 교사와 학생 간의 거리 기반 및 각도 기반 특징을 맞춤으로써 관계 구조를 보존한다.
• 비교를 위해 교사와 학생이 아키텍처를 공유하는 자기 증류를 선택적으로 포함한다.
• 다양한 SNR에서 빔 예측 정확도와 스펙트럼 효율성으로 성능을 평가한다.

실험 결과

연구 질문

• RQ1 소형 학생 모델이 sub-6 GHz 입력을 사용하여 교사의 빔 예측 정확도와 SE를 재현할 수 있는가?
• RQ2 모델 크기와 복잡성을 줄이는 동안 IKD와 RKD가 성능 보존 측면에서 어떻게 비교되는가?
• RQ3 증류 온도, 손실 가중치 간의 trade-off 와 예측 성능은 어떠한가?
• RQ4 상위 k 빔 정확도와 SE의 유의미한 저하 없이 얼마나 많은 복잡도 감소가 가능한가?

주요 결과

모델	매개변수	FLOPs
Teacher	3,477,568	6,940,816
Students	24,768	49,152
Reduction (%)	≈99.29%	≈99.29%

• 학생 모델은 교사에 비해 학습 가능한 매개변수와 FLOPs를 약 99% 감소시킨다.
• IKD 및 RKD 학생은 테스트된 SNR에서 교사에 근접한 빔 예측 정확도(Top-1 및 Top-3)와 SE를 달성한다.
• 자기 증류 학생은 더 빠른 수렴을 달성하고 정확도와 SE에서 교사를 상회하거나 일치한다.
• RKD가 대부분의 지표에서 IKD를 약간 앞서며, 두 방식 모두 비증류 베이스라인보다 우수하다.
• 모든 KD 기반 학생은 일반적인 SNR(예: 15 dB)에서 교사의 SE의 95% 이상을 유지한다.