[논문 리뷰] Cache-enabled Wireless Networks with Opportunistic Interference Alignment

Ying He, Shan Hu|arXiv (Cornell University)|2017. 06. 27.

Caching and Content Delivery참고 문헌 24인용 수 10

한 줄 요약

이 논문은 시간에 따라 변화하는 무선 네트워크에서 캐시 기반의 기회적 간섭 정렬(OIA)을 위한 딥 강화학습 기반 사용자 선택 기법을 제안한다. 채널을 유한 상태 마르코프 채널(FSMC)으로 모델링하고, 최적의 간섭 정렬 사용자 선택 정책을 학습하기 위해 딥 Q넷(DQN)을 사용함으로써, 현실적인 동적 채널 조건 하에서 합산 속도 성능을 크게 향상시켰으며, 정적 채널 및 비캐시 기반 기준선보다 뛰어난 성능을 보였다.

ABSTRACT

Both caching and interference alignment (IA) are promising techniques for future wireless networks. Nevertheless, most of existing works on cache-enabled IA wireless networks assume that the channel is invariant, which is unrealistic considering the time-varying nature of practical wireless environments. In this paper, we consider realistic time-varying channels. Specifically, the channel is formulated as a finite-state Markov channel (FSMC). The complexity of the system is very high when we consider realistic FSMC models. Therefore, we propose a novel big data reinforcement learning approach in this paper. Deep reinforcement learning is an advanced reinforcement learning algorithm that uses deep $Q$ network to approximate the $Q$ value-action function. Deep reinforcement learning is used in this paper to obtain the optimal IA user selection policy in cache-enabled opportunistic IA wireless networks. Simulation results are presented to show the effectiveness of the proposed scheme.

연구 동기 및 목표

• 기존의 캐시 기반 간섭 정렬 기법들이 정적 또는 블록 fading 채널을 가정하는 한계를 해결하기 위해, 현실 세계의 시간에 따라 변화하는 무선 환경을 반영하지 못하는 문제를 해결한다.
• 백홀 및 추정 제약으로 인해 전체 채널 상태 정보(CSI) 추적을 수행하기 어려운 시간에 따라 변화하는 채널 조건에서 캐시 기반 OIA 네트워크의 시스템 복잡도를 줄이기 위해 노력한다.
• 동적 채널 조건 하에서 장기적인 네트워크 합산 속도를 최대화하는 적응형, 학습 기반 사용자 선택 정책을 개발한다.
• 빅데이터 기반 강화학습을 활용하여 캐싱과 간섭 정렬을 현실적인 시간에 따라 변화하는 채널 모델에 통합한다.

제안 방법

• 실제의 시간에 따라 변화하는 행동을 반영하기 위해 무선 채널을 유한 상태 마르코프 채널(FSMC)으로 모델링한다.
• 모든 사용자로부터 CSI 및 캐시 상태를 수집하는 중앙 스케줄러를 사용하여 의사결정을 위한 글로벌 시스템 상태를 구성한다.
• Q-값 함수를 근사하고 최적의 간섭 정렬 사용자 선택 정책을 학습하기 위해 딥 Q넷(DQN) 강화학습을 적용한다.
• 즉각적인 보상과 미래의 보상 간 균형을 맞추기 위해 할인 요소 ε = 0.5를 사용하는 할인 누적 보상 함수를 적용한다.
• 탐색과 이용 간 균형을 맞추기 위해 시간에 따라 변화하는 ε를 사용하는 ε-그리디 탐색 전략을 적용하며, 초기값은 0.1에서 시작하여 점차 1로 증가시킨다.
• TensorFlow를 사용하여 오프라인으로 DQN을 훈련시키며, 10만 건의 경험을 담는 리PLAY 메모리와 4단계마다 Q-값 업데이트를 수행한다.

실험 결과

연구 질문

• RQ1 기존 연구에서 정적 CSI를 가정하는 것과 같이, 시간에 따라 변화하는 채널 조건에서 캐시 기반 기회적 간섭 정렬의 성능은 어떻게 저하되는가?
• RQ2 실제의 시간에 따라 변화하는 채널 환경을 FSMC로 모델링한 상황에서, 딥 강화학습이 최적의 간섭 정렬 사용자 선택 정책을 효과적으로 학습할 수 있는가?
• RQ3 비캐시 또는 정적 채널 가정에 비해, 동적 채널 조건에서 캐싱은 OIA의 성능 향상에 어떤 영향을 미치는가?
• RQ4 제안된 DQN 기반 사용자 선택 정책은 동적이고 유한 상태의 채널 환경에서 수렴 성능와 안정성은 어떻게 되는가?

주요 결과

• 제안된 DQN 기반 기법은 약 3,500개의 훈련 에피소드 이후 안정된 정책으로 수렴하며, 합산 속도가 시간이 지남에 따라 안정적으로 증가하는 경향을 보였다.
• 제안된 캐시 기반 OIA는 모든 테스트된 채널 전이 확률에서 가장 높은 평균 합산 속도를 기록했으며, 비캐시 기반 OIA 기법과 정적 채널을 가정하는 기준선 방법을 모두 앞섰다.
• 채널 상태 전이 확률이 증가함에 따라(즉, 채널이 더 정적해짐에 따라), 제안된 기법과 정적 채널 기반 기준선 간 성능 격차가 좁아지며, 동적 환경에서의 기법의 우수성을 확인했다.
• 채널이 완전히 정적일 경우(전이 확률 = 1), 제안된 기법은 기준선과 동일한 성능을 보였으며, 이상적인 조건 하에서도 일관성을 입증했다.
• 경험 재생과 값 함수 근사 기법을 통해 학습된 강건한 사용자 선택 정책을 통해 채널 불확실성과 추정 오차를 효과적으로 처리했다.
• 캐싱과 DQN 기반 OIA의 통합은 시간에 따라 변화하는 네트워크에서 높은 스펙트럼 효율성 향상을 이끌어내었으며, 현실 세계의 무선 시스템에서 학습 기반 자원 관리의 실현 가능성을 입증했다.