[논문 리뷰] Joint Time Scheduling and Transaction Fee Selection in Blockchain-based RF-Powered Backscatter Cognitive Radio Network

Tran The Anh, Nguyen Cong Luong외 3명|arXiv (Cornell University)|2020. 01. 10.

Energy Harvesting in Wireless Networks인용 수 6

한 줄 요약

이 논문은 무선 주파수(_RF_)로 구동되는 백스캐터링 콘텐티브 라디오 네트워크에서 공동 시간 스케줄링, 블록체인 네트워크 선택, 거래 수수료 최적화를 위한 딥 강화학습(DRL) 기반 프레임워크를 제안한다. 확률적 최적화 문제를 수립하고 듀얼링 더블 딥 Q-네트워크(D3QN)를 활용하여 게이트웨이가 에너지 수확, 백스캐터링, 전송를 위한 시간 슬롯을 동적으로 할당하면서 최적의 블록체인과 수수료율을 선택함으로써, 1 프레임당 최대 9.1개의 데이터 단위의 Throughput를 달성하여 Q-러닝 및 기준 방법들보다 뚜렷이 뛰어난 성능을 발휘한다.

ABSTRACT

In this paper, we develop a new framework called blockchain-based Radio Frequency (RF)-powered backscatter cognitive radio network. In the framework, IoT devices as secondary transmitters transmit their sensing data to a secondary gateway by using the RF-powered backscatter cognitive radio technology. The data collected at the gateway is then sent to a blockchain network for further verification, storage and processing. As such, the framework enables the IoT system to simultaneously optimize the spectrum usage and maximize the energy efficiency. Moreover, the framework ensures that the data collected from the IoT devices is verified, stored and processed in a decentralized but in a trusted manner. To achieve the goal, we formulate a stochastic optimization problem for the gateway under the dynamics of the primary channel, the uncertainty of the IoT devices, and the unpredictability of the blockchain environment. In the problem, the gateway jointly decides (i) the time scheduling, i.e., the energy harvesting time, backscatter time, and transmission time, among the IoT devices, (ii) the blockchain network, and (iii) the transaction fee rate to maximize the network throughput while minimizing the cost. To solve the stochastic optimization problem, we then propose to employ, evaluate, and assess the Deep Reinforcement Learning (DRL) with Dueling Double Deep Q-Networks (D3QN) to derive the optimal policy for the gateway. The simulation results clearly show that the proposed solution outperforms the conventional baseline approaches such as the conventional Q-Learning algorithm and non-learning algorithms in terms of network throughput and convergence speed. Furthermore, the proposed solution guarantees that the data is stored in the blockchain network at a reasonable cost.

연구 동기 및 목표

• RF로 구동되는 백스캐터링 콘텐티브 라디오 기술을 활용하여 밀도 높은 IoT 환경에서의 스펙트럼 부족과 에너지 제약 문제를 해결하기 위해.
• 분산형 신뢰할 수 있는 데이터 저장 및 검증을 위한 블록체인 통합을 통해 데이터 무결성, 투명성, 보안성을 향상시키기 위해.
• 변동적이고 불확실하며 예측 불가능한 시스템 조건 하에서 시간 스케줄링(수확, 백스캐터링, 전송), 블록체인 네트워크 선택, 거래 수수료율을 공동으로 최적화하기 위해.
• 변동하는 채널 상태, IoT 기기 상태, 블록체인 동적 변화가 존재하는 확률적 환경에서 네트워크 Throughput를 극대화하고 저장 비용을 최소화하기 위해.

제안 방법

• 동적 주파수 채널 상태, 불확실한 IoT 기기 상태, 예측 불가능한 블록체인 환경 하에서 보조 게이트웨이가 시간 스케줄링, 블록체인 네트워크, 거래 수수료율을 공동으로 결정하기 위한 확률적 최적화 문제를 수립한다.
• Throughput 극대화와 비용 최소화를 균형 잡는 최적의 정책을 학습하기 위해 듀얼링 더블 딥 Q-네트워크(D3QN)를 활용한 딥 강화학습(DRL)을 적용한다.
• 상태 공간과 행동 공간이 큰 마르코프 결정 과정(MDP)으로 시스템을 모델링하며, 상태에는 채널 점유도, 기기의 에너지 및 데이터 가용성, 블록체인 네트워크 조건이 포함된다.
• D3QN 학습을 이끄는 네트워크 Throughput, 거래 성공 확률, 비용 효율성을 통합한 종합적인 보상 함수를 설계한다.
• 기준선으로 Q-러닝, 랜덤, HTT, 백스캐터링 정책을 대비하여 시뮬레이션 기반 학습 및 평가를 수행한다.
• 다양한 프레임 길이, 데이터 도착률, 공격자 확률, 이용 가능한 블록체인 네트워크 수를 기반으로 성능을 평가한다.

실험 결과

연구 질문

• RQ1 동적이고 불확실한 조건 하에서, 분산형 블록체인 기반 RF로 구동되는 백스캐터링 콘텐티브 라디오 네트워크에서 시간 스케줄링, 블록체인 네트워크 선택, 거래 수수료율을 어떻게 공동으로 최적화할 수 있는가?
• RQ2 프레임 길이가 제안된 프레임워크에서 네트워크 Throughput와 거래 수수료율에 미치는 영향은 무엇인가?
• RQ3 데이터 도착률이 DRL 기반 스케줄링 정책의 성능에 미치는 영향은 기존의 기준 방법들과 비교해 어떻게 나타나는가?
• RQ4 공격자가 새로운 블록을 찾을 확률이 증가할 경우, 다양한 블록체인 환경에서 Throughput와 거래 수수료율에 어떤 영향을 미치는가?
• RQ5 이용 가능한 블록체인 네트워크 수를 늘일 경우, Throughput, 거래 수수료, 전체 시스템 보상에 어떤 영향을 미치는가?

주요 결과

• 제안된 DRL 기반 기법은 데이터 도착률 8일 때 평균 9.1개의 데이터 단위를 1 시간 프레임당 달성하여, 랜덤, HTT, 백스캐터링 기법(각각 4.4, 3.3, 1.6 단위)보다 뚜렷이 뛰어난 성능을 보였다.
• 고정된 바쁜 채널 기간 동안 일관된 백스캐터링 작동 덕분에, 프레임 길이가 증가함에 따라 Throughput가 안정적으로 유지된다.
• 프레임 길이가 증가함에 따라 모든 기법에서 패킷 크기가 커져 거래 수수료율이 상승하지만, DRL 기법은 비용 효율성을 유지한다.
• 공격자가 새로운 블록을 찾을 확률이 증가할수록 모든 기법에서 Throughput가 감소하고 수수료율이 급격히 상승하지만, DRL 기법이 가장 높은 성능 유지를 보였다.
• 이용 가능한 블록체인 네트워크 수를 늘일수록 시스템 성능 향상: Throughput 증가, 거래 수수료 감소, 총 보상 증가 — 더 나은 네트워크 선택 기회 덕분이다.