[논문 리뷰] AI-enabled STAR-RIS aided MISO ISAC Secure Communications

Zhengyu Zhu, Mengfei Gong외 3명|arXiv (Cornell University)|2024. 02. 26.

Space Satellite Systems and Control인용 수 4

한 줄 요약

이 논문은 깊이 강화 학습(DDPG 및 SAC)을 활용하여 비선형 최적화 문제를 동시에 최적화함으로써, 정상 사용자의 장기 평균 기밀 속도를 극대화하면서도 감지 및 통신 품질을 확보하는 AI 기반 STAR-RIS 지원 MISO ISAC 시스템을 제안한다. 전이 및 반사 계수를 동시에 최적화함으로써 전통적인 RIS 및 双스플릿 RIS 기준 대비 뛰어난 보안성과 스펙트럼 효율성을 달성한다.

ABSTRACT

A simultaneous transmitting and reflecting reconfigurable intelligent surface (STAR-RIS) aided integrated sensing and communication (ISAC) dual-secure communication system is studied in this paper. The sensed target and legitimate users (LUs) are situated on the opposite sides of the STAR-RIS, and the energy splitting and time switching protocols are applied in the STAR-RIS, respectively. The long-term average security rate for LUs is maximized by the joint design of the base station (BS) transmit beamforming and receive filter, along with the STAR-RIS transmitting and reflecting coefficients, under guarantying the echo signal-to-noise ratio thresholds and rate constraints for the LUs. Since the channel information changes over time, conventional convex optimization techniques cannot provide the optimal performance for the system, and result in excessively high computational complexity in the exploration of the long-term gains for the system. Taking continuity control decisions into account, the deep deterministic policy gradient and soft actor-critic algorithms based on off-policy are applied to address the complex non-convex problem. Simulation results comprehensively evaluate the performance of the proposed two reinforcement learning algorithms and demonstrate that STAR-RIS is remarkably better than the two benchmarks in the ISAC system.

연구 동기 및 목표

• 고주파수 ISAC 시스템에서 제한된 커버리지와 높은 경로 손실로 인한 안정적 고속 통신의 과제 해결
• 기존 RIS가 신호를 반사하기만 하고 한쪽면의 사용자에게만 서비스하는 제한점을 극복하기 위해, 360° 커버리지가 가능한 STAR-RIS 활용
• 이중 기밀 ISAC 환경에서 에코 신호 대역간비(SNR) 기준과 통신 비율 제약 조건을 동시에 충족시키기
• 베이스 station(BS)의 비음향 조절, 수신 필터링, STAR-RIS 전송/반사 계수를 공동 최적화하여 정상 사용자의 장기 평균 기밀 속도 극대화
• 동적 채널 상태로 인한 비볼록이고 시간에 따라 변화하는 최적화 문제를 샘플 효율적인 깊이 강화 학습 알고리즘을 통해 해결

제안 방법

• 에너지 분할(ES) 또는 시간 스위칭(TS) 프로토콜을 사용하여 입사 신호를 전송 및 반사 부분으로 분할하는 STAR-RIS 활용
• 최소 에코 SNR 및 사용자 비율 제약 조건 하에 장기 평균 기밀 속도를 극대화하는 비선형 최적화 문제 수립
• 비선형이고 시간에 따라 변화하는 최적화 문제를 해결하기 위해 비정책 기반 깊이 강화 학습 방법인 깊이 결정성 정책 경사(DDPG) 및 소프트 액터-크리틱(SAC) 알고리즘 적용
• 신경망을 사용해 정책 및 가치 함수를 근사함으로써, 동적 환경에서 시스템 파라미터의 종단 간 공동 최적화 구현
• 경험 재생 및 타겟 네트워크를 활용해 에이전트 훈련 시 안정성과 샘플 효율성 향상, 특히 고차원 행동 공간에서 유리
• 상태 및 행동 공간 정규화 및 학습률, 엔트로피 계수 등의 하이퍼파rameter 조정을 통해 공정성 확보 및 수렴성 향상

실험 결과

연구 질문

• RQ1 STAR-RIS 통합은 기존 RIS 대비 MISO ISAC 시스템의 기밀 속도 및 커버리지에 어떤 영향을 미치는가?
• RQ2 깊이 강화 학습은 동적 ISAC 환경에서 비볼록이고 시간에 따라 변화하는 최적화 문제를 효과적으로 해결할 수 있는가?
• RQ3 평균 기밀 속도 측면에서 STAR-RIS는 이중 스플릿 RIS 및 기존 RIS에 비해 어떤 성능 향상을 보이는가?
• RQ4 STAR-RIS의 TS 및 ES 프로토콜은 다양한 SNR 제약 조건 하에서 시스템 기밀 속도 및 자원 할당에 어떤 영향을 미치는가?
• RQ5 이 ISAC 보안 최적화 과제에서 DDPG와 SAC 중 어떤 알고리즘이 더 높은 성능과 수렴 안정성을 달성하는가?

주요 결과

• 제안된 STAR-RIS 지원 ISAC 시스템은 기존 RIS 및 이중 스플릿 RIS 기준 대비 유의미하게 높은 평균 기밀 속도를 달성하여, 360° 커버리지 및 전체 신호 조작의 우수성을 입증한다.
• SAC 알고리즘이 DDPG보다 최종 보상과 수렴 안정성에서 뛰어나, 최대 엔트로피 정규화와 이중 Q-네트워크 설계 덕분에 더 높은 평균 기밀 속도를 달성한다.
• DDPG는 SAC보다 수렴 속도가 더 빠르지만, SAC는 더 높은 최종 성능을 보이며, 훈련 속도와 해법 품질 사이의 상충 관계를 보여준다.
• STAR-RIS 요소 수(N) 증가 시 두 알고리즘 모두 기밀 속도 성능 향상이 나타나며, SAC 하에서는 더 두드러진 성능 향상 기록
• 에피소드당 평균 실행 시간은 N 증가에 따라 증가하며, SAC는 더 복잡한 네트워크 아키텍처로 인해 DDPG보다 더 높은 계산 비용을 유발한다.
• BS 전송 전력 증가 시 평균 기밀 속도가 향상되지만, 고전력 수준에 도달할수록 수익 감소 현상이 나타나, 성능 향상의 점진적 감소를 보인다.
• ES 프로토콜은 특히 에코 SNR가 16 dB를 초과할 경우, 감지에 자원을 과도하게 할당함으로써 통신 보안이 위협받는 점을 감안해 TS 대비 낮은 기밀 속도 기록