[논문 리뷰] Intelligent Reflecting Surface Assisted Anti-Jamming Communications: A Fast Reinforcement Learning Approach

Helin Yang, Zehui Xiong외 5명|arXiv (Cornell University)|2020. 04. 27.

Advanced Wireless Communication Technologies참고 문헌 35인용 수 10

한 줄 요약

이 논문은 무선 통신에서의 저항성 간섭 방지 성능을 햖스하기 위해 지능형 반사 표면(IUS)을 활용한 빠른 강화학습 접근법을 제안한다. 기저국의 전력 할당과 IUS의 반사 beamforming을 함께 최적화하기 위해 퍼지 승리 또는 학습 빠른 정책 기울기 상승(WoLF-CPHC) 알고리즘을 사용함으로써, 특히 더 큰 IUS 요소 수(M=100)에서 기존 기준 방법보다 뛰어난 시스템 속도와 100%의 SINR 보호 수준을 달성하며, 간섭 모델에 대한 사전 지식이 필요로 하지 않는다.

ABSTRACT

Malicious jamming launched by smart jammers can attack legitimate transmissions, which has been regarded as one of the critical security challenges in wireless communications. With this focus, this paper considers the use of an intelligent reflecting surface (IRS) to enhance anti-jamming communication performance and mitigate jamming interference by adjusting the surface reflecting elements at the IRS. Aiming to enhance the communication performance against a smart jammer, an optimization problem for jointly optimizing power allocation at the base station (BS), and reflecting beamforming at the IRS is formulated while considering quality of service (QoS) requirements of legitimate users. As the jamming model and jamming behavior are dynamic and unknown, a fuzzy win or learn fast-policy hill-climbing (WoLFPHC) learning approach is proposed to jointly optimize the anti-jamming power allocation and reflecting beamforming strategy, where WoLFPHC is capable of quickly achieving the optimal policy without the knowledge of the jamming model, and fuzzy state aggregation can represent the uncertain environment states as aggregate states. Simulation results demonstrate that the proposed anti-jamming learning-based approach can efficiently improve both the IRS-assisted system rate and transmission protection level compared with existing solutions.

연구 동기 및 목표

• 알 수 없고 동적인 간섭 행동을 가진 환경에서 무선 통신의 간섭 방지 문제를 해결하기 위해.
• 신호 강화 및 간섭 완화를 위해 지능형 반사 표면(IUS)을 활용하여 시스템 속도와 전송 신뢰성을 향상시키기 위해.
• 서비스 품질(QoS) 제약 조건 하에서 기지국의 전력 할당과 IUS 반사 beamforming을 공동 최적화하기 위해.
• 사전에 간섭자 특성에 대한 지식 없이도 불확실한 간섭 환경에 적응할 수 있는 빠른 모델 프리 학습 알고리즘 개발을 위해.
• 새로운 퍼지 상태 집합 및 승리 또는 학습 빠른 정책 기울기 상승(WoLF-CPHC) 강화학습 프레임워크를 통해 스마트 간섭자에 대한 강건성을 향상시키기 위해.

제안 방법

• QoS 제약 조건 하에서 기지국(BS)의 전송 전력과 IUS의 반사 beamforming을 동시에 최적화하기 위해 비볼록 최적화 문제를 수립한다.
• 간섭 모델에 대한 사전 지식 없이 최적의 간섭 방지 전략을 학습하기 위해 퍼지 승리 또는 학습 빠른 정책 기울기 상승(WoLF-CPHC) 강화학습 알고리즘을 제안한다.
• 불확실한 환경 상태를 집합 상태로 표현하기 위해 퍼지 상태 집합(FSA)을 사용하여 동적 환경에서의 학습 효율성을 향상시킨다.
• SINR 인식 보상 함수를 도입하여 간섭에 대한 보호를 우선시하고 시스템의 강건성을 향상시킨다.
• 빠른 정책 수렴을 통해 미리 알 수 없는 간섭 행동에 실시간으로 적응할 수 있도록 한다.
• IUS는 위상 조절을 통해 원하는 신호 전력을 강화하고 간섭을 억제하며, 전력 할당은 QoS 요구 조건을 충족시킨다.

실험 결과

연구 질문

• RQ1 알 수 없는 스마트 간섭자 존재 하에서 IUS 지원 beamforming과 전력 할당이 간섭 방지 성능을 어떻게 향상시킬 수 있는가?
• RQ2 모델 프리 강화학습 접근법이 불확실하고 동적인 간섭 환경에서 빠른 수렴과 최적 정책을 달성할 수 있는가?
• RQ3 IUS 요소 수(M)가 간섭 방지 통신에서 시스템 속도와 SINR 보호 수준에 미치는 영향은 무엇인가?
• RQ4 제안된 퍼지 WoLF-CPHC 방법은 기존 Q-학습 및 기준 방법과 비교해 성능 및 강건성 측면에서 어떻게 다른가?
• RQ5 전력 할당과 반사 beamforming의 공동 최적화가 스마트 간섭에 대한 시스템 내성 향상에 얼마나 기여하는가?

주요 결과

• M=100개의 반사 요소를 사용할 경우, 제안된 방법은 시스템 속도 12.21 bits/s/Hz를 달성하며, 기존 기준 방법보다 뚜렷이 뛰어나다.
• M≥60일 경우 제안된 학습 방법은 100%의 SINR 보호 수준을 달성하지만, 다른 방법들은 특히 높은 SINR 목표치에서 뒤처진다.
• IUS 요소 수(M)가 높아질수록 제안된 방법과 기준 방법 간의 성능 격차가 커지며, 이는 확장성과 적응성의 우수함을 보여준다.
• 높은 SINR 목표 요구 조건(SINR^min > 임계값)에서는 간섭 간섭으로 인해 시스템 속도와 보호 수준이 급격히 감소하지만, IUS 지원 방법은 뛰어난 성능 유지를 유지한다.
• 특히 엄격한 QoS 제약 조건 하에서, 퍼지 WoLF-CPHC 기반 방법은 빠른 Q-학습 및 기준 방법 모두를 시스템 속도와 SINR 보호 측면에서 능가한다.
• 전력 할당과 반사 beamforming의 공동 최적화가 간섭 방지 성능을 극대화하는 데 핵심적임을 보여주며, 제안된 방법의 뛰어난 성능이 다른 대안보다 뚜렷하게 떨어진다.