[논문 리뷰] Data-Aided Channel Estimator for MIMO Systems via Reinforcement Learning

Yo–Seb Jeon, Jun Li외 2명|arXiv (Cornell University)|2020. 03. 23.

Advanced MIMO Systems Optimization참고 문헌 11인용 수 4

한 줄 요약

이 논문은 MIMO 시스템에서 검출된 기저 벡터를 추가 피롤 신호로 선택적으로 사용하여 채널 추정 오차를 감소시키는 강화학습 기반 데이터 보조 채널 추정기를 제안한다. 선택 문제를 마르코프 결정 과정(MDP)으로 공식화하고 강화학습을 통해 폐쇄형 정책을 유도함으로써, 반복 처리나 증가된 피롤 오버헤드 없이도 낮은 MSE와 향상된 블록 오류율을 달성한다.

ABSTRACT

This paper presents a data-aided channel estimator that reduces the channel estimation error of the conventional linear minimum-mean-squared-error (LMMSE) method for multiple-input multiple-output communication systems. The basic idea is to selectively exploit detected symbol vectors obtained from data detection as additional pilot signals. To optimize the selection of the detected symbol vectors, a Markov decision process (MDP) is defined which finds the best selection to minimize the mean-squared-error (MSE) of the channel estimate. Then a reinforcement learning algorithm is developed to solve this MDP in a computationally efficient manner. Simulation results demonstrate that the presented channel estimator significantly reduces the MSE of the channel estimate and therefore improves the block error rate of the system, compared to the conventional LMMSE method.

연구 동기 및 목표

• 제한된 피롤 오버헤드 조건에서 MIMO 시스템의 평균 제곱 오차(MSE)를 감소시키기 위해.
• 신뢰할 수 없는 검출된 기저 기반으로 인해 발생하는 기존 데이터 보조 채널 추정에서의 오류 전파 문제를 해결하기 위해.
• 수신기에서 채널 상태 정보 정확도를 향상시키기 위한 반복적이지 않고 계산 효율적인 방법을 개발하기 위해.
• 고정 또는 히우리스틱 규칙 대신 학습 기반 선택 전략을 사용하여 검출된 기저 기반을 가상의 피롤 신호로 활용하기 위해.

제안 방법

• 채널 추정을 위한 검출된 기저 기반의 선택 문제를 최소화하는 데 목적이 있는 마르코프 결정 과정(MDP)으로 모델링한다.
• MDP를 해결하기 위해 강화학습 프레임워크를 개발하여 행동 선택(검출된 기저 기반 사용 또는 건너뛰기)에 대한 폐쇄형 최적 정책을 도출한다.
• 정책은 블록 끝에서 어떤 검출된 기저 기반을 사용할지 여부에 따른 기대 MSE 차이를 기반으로 한다.
• 오차 공분산 행렬은 행렬 역행렬 보조정리와 통계적 채널 모델을 사용하여 계산되며, 알려진 피롤 신호와 검출된 기저 기반을 모두 포함한다.
• 다른 행동에 대한 기대 오차 공분산 행렬의 트레이스를 비교하여 최적 행동을 결정함으로써 실시간 의사결정이 가능하다.
• 단일 패assing 내에서 최적의 기저 기반 선택을 학습함으로써 반복적 정밀화를 피함으로써 복잡도와 지연을 감소시킨다.

실험 결과

연구 질문

• RQ1 제한된 피롤 오버헤드 조건에서 기존 LMMSE 추정과 비교해 강화학습 기반 접근법이 채널 추정 정확도에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 피롤 오버헤드 증가 없이도 오류 전파를 유발하지 않으면서 검출된 기저 기반을 선택적으로 사용하여 채널 추정을 향상시킬 수 있는가?
• RQ3 반복적이지 않은 방식으로 채널 추정의 MSE를 최소화하기 위해 검출된 기저 기반 벡터를 선택하는 최적의 정책은 무엇인가?
• RQ4 데이터 보조 MIMO 채널 추정에서 기저 기반 선택의 MDP 공식화에 대해 폐쇄형 해를 도출할 수 있는가?
• RQ5 블록 오류율과 계산 복잡도 측면에서 기존 반복적 데이터 보조 추정기와 비교해 제안된 방법은 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 기존의 LMMSE 추정기와 비교해 채널 추정의 평균 제곱 오차(MSE)를 크게 감소시킨다.
• 피롤 오버헤드 증가 없이도 낮은 채널 추정 오차로 인해 시스템의 블록 오류율이 향상된다.
• 강화학습 기반 선택 정책은 폐쇄형 해를 통해 근사 최적 성능를 달성하며, 저복잡도 구현이 가능하다.
• 기존 비반복적 데이터 보조 추정기들이 모든 검출된 기저 기반을 사용하는 것과 달리, 이 방법은 신뢰할 수 없는 검출된 기저 기반을 피하는 방식으로 오류 전파를 완화한다.
• 시뮬레이션 결과는 제안된 추정기가 MSE와 블록 오류율 모두에서 기존 방법을 뛰어넘는 것으로 확인되었으며, 특히 저 SNR 환경에서 두드러진 성능 향상을 보였다.
• 반복 처리가 필요 없이도 성능 향상을 달성함으로써 수신기의 지연과 계산 부담을 감소시켰다.