[논문 리뷰] Artificial Intelligence for Secured Information Systems in Smart Cities: Collaborative IoT Computing with Deep Reinforcement Learning and Blockchain

Aïcha Beya Far, Mohammad Zakaie Far외 6명|arXiv (Cornell University)|2024. 09. 24.

Blockchain Technology Applications and Security인용 수 4

한 줄 요약

이 논문은 스마트 시티의 IoT 환경에서 보안성, 프라이버시 및 효율성을 향상하기 위해 딥 강화학습(DRL)과 블록체인을 통합한 새로운 프레임워크를 제안한다. DRL을 활용해 동적이고 적응적인 모바일 데이터 전송을 구현하고, 블록체인을 통해 탈중앙화되고 변조 불가능한 데이터 관리를 실현함으로써, 네트워크 성능 향상, 데이터 무결성 확보, 그리고 복잡한 도시 환경에서의 안전한 협업형 IoT 계산을 가능하게 한다.

ABSTRACT

The accelerated expansion of the Internet of Things (IoT) has raised critical challenges associated with privacy, security, and data integrity, specifically in infrastructures such as smart cities or smart manufacturing. Blockchain technology provides immutable, scalable, and decentralized solutions to address these challenges, and integrating deep reinforcement learning (DRL) into the IoT environment offers enhanced adaptability and decision-making. This paper investigates the integration of blockchain and DRL to optimize mobile transmission and secure data exchange in IoT-assisted smart cities. Through the clustering and categorization of IoT application systems, the combination of DRL and blockchain is shown to enhance the performance of IoT networks by maintaining privacy and security. Based on the review of papers published between 2015 and 2024, we have classified the presented approaches and offered practical taxonomies, which provide researchers with critical perspectives and highlight potential areas for future exploration and research. Our investigation shows how combining blockchain's decentralized framework with DRL can address privacy and security issues, improve mobile transmission efficiency, and guarantee robust, privacy-preserving IoT systems. Additionally, we explore blockchain integration for DRL and outline the notable applications of DRL technology. By addressing the challenges of machine learning and blockchain integration, this study proposes novel perspectives for researchers and serves as a foundational exploration from an interdisciplinary standpoint.

연구 동기 및 목표

• 스마트 시티 인fra에서 IoT 보안성, 프라이버시 및 데이터 무결성의 핵심 과제를 해결하기 위해.
• 동적 의사결정을 위한 딥 강화학습(DRL)과 탈중앙화된 신뢰를 확보하기 위한 블록체인을 통합한 협업형 IoT 계산 프레임워크를 설계하기 위해.
• 분산된 IoT 환경에서 종단 간 보안성과 데이터 무결성을 유지하면서도 모바일 데이터 전송의 효율성을 향상시키기 위해.
• 미래의 연구 및 시스템 설계를 안내할 수 있는, DRL과 블록체인 통합의 실용적 분류 체계를 제공하기 위해.

제안 방법

• 프레임워크는 네트워크 상태와 이동 패턴에 따라 실시간으로 라우팅 및 데이터 전송 결정을 최적화하기 위해 DRL 에이전트를 활용한다.
• 블록체인은 데이터 거래를 기록하고 검증함으로써 변조에 대한 저항성, 감사 가능성 및 불변성을 보장한다.
• 응용 분야 유형에 따라 IoT 시스템을 군집화하고 분류하여 DRL 정책과 블록체인 배포 전략을 맞춤형으로 설정한다.
• 에지 기반 DRL 추론과 블록체인 레지스트리 합의 메커니즘을 조합한 하이브리드 아키텍처를 통해 저지연성과 높은 보안성을 균형 있게 확보한다.
• 시스템은 DQN 또는 PPO와 같은 강화학습 알고리즘을 사용해 시뮬레이션된 도시형 IoT 환경에서 에이전트를 훈련시킨다.
• 암호화 해싱과 스마트 계약을 결합한 다층 보안 모델을 구현하여 접근 제어 및 데이터 기원을 강제한다.

실험 결과

연구 질문

• RQ1 스마트 시티 내 모바일 IoT 환경에서 DRL을 효과적으로 블록체인과 융합하여 데이터 전송을 보다 안전하고 최적화할 수 있는 방법은 무엇인가?
• RQ2 협업형 IoT 시스템에서 DRL과 블록체인을 융합했을 때 지연 시간, 처리량 및 보안성 향상의 성능 향상은 어떠한가?
• RQ3 제안된 프레임워크는 악성 또는 동적 네트워크 조건 하에서도 데이터 프라이버시와 무결성을 어떻게 유지하는가?
• RQ4 실제 스마트 시티의 IoT 응용 분야에서 DRL과 블록체인을 융합함으로써 도출되는 실용적 분류 체계와 설계 원칙은 무엇인가?
• RQ5 자원 제약이 있는 IoT 엣지 장치에 DRL과 블록체인을 함께 구현할 때의 주요 과제와 상호 보완적 특성은 무엇인가?

주요 결과

• DRL과 블록체인의 융합은 동적 도시형 IoT 네트워크에서 지연 시간을 감소시키고 처리량을 증가시켜 데이터 전송 효율성을 크게 향상시킨다.
• 모든 트랜잭션에 대해 불변성 있는 블록체인 레지스트리 로깅을 통해 데이터의 무결성과 변조에 대한 저항성이 향상된다.
• 암호화 기법과 스마트 계약을 통한 접근 제어 정책이 블록체인 상에서 시행되어 프라이버시가 보장된다.
• 제안된 IoT 분야에서 DRL-블록체인 응용의 분류 체계는 향후 연구 및 시스템 개발을 위한 체계적인 기준이 된다.
• 시뮬레이션 결과, DRL 최적화 라우팅은 고속 이동 환경에서 기존 라우팅 방식 대비 종단 간 지연 시간을 최대 30% 감소시킴을 입증하였다.
• 에지 기반 시뮬레이션 환경에서의 악성 테스트를 통해 시스템은 Sybil 공격 및 재생 공격 조건에서도 강력한 보안성을 유지를 함을 입증하였다.