[논문 리뷰] Deep Reinforcement Learning for Autonomous Internet of Things: Model, Applications and Challenges

Lei Lei, Yue Tan외 5명|arXiv (Cornell University)|2019. 07. 22.

Reinforcement Learning in Robotics참고 문헌 175인용 수 13

한 줄 요약

이 논문은 물리적 제어와 네트워크/계산 자원 관리를 통합하는 자율형 인터넷 오브 things (AIoT) 시스템을 위한 통합된 딥 강화학습(DRL) 프레임워크를 제안한다. AIoT 분야의 최신 DRL 응용 사례를 조사하고, 제안된 일반 모델에 따라 분류하며, 확장성, 실시간 성능, 일반화성과 관련된 주요 과제를 규명한다.

ABSTRACT

The Internet of Things (IoT) extends the Internet connectivity into billions of IoT devices around the world, where the IoT devices collect and share information to reflect status of the physical world. The Autonomous Control System (ACS), on the other hand, performs control functions on the physical systems without external intervention over an extended period of time. The integration of IoT and ACS results in a new concept - autonomous IoT (AIoT). The sensors collect information on the system status, based on which the intelligent agents in the IoT devices as well as the Edge/Fog/Cloud servers make control decisions for the actuators to react. In order to achieve autonomy, a promising method is for the intelligent agents to leverage the techniques in the field of artificial intelligence, especially reinforcement learning (RL) and deep reinforcement learning (DRL) for decision making. In this paper, we first provide a tutorial of DRL, and then propose a general model for the applications of RL/DRL in AIoT. Next, a comprehensive survey of the state-of-art research on DRL for AIoT is presented, where the existing works are classified and summarized under the umbrella of the proposed general DRL model. Finally, the challenges and open issues for future research are identified.

연구 동기 및 목표

• 자율 제어 시스템과 IoT 간 격차를 메우기 위해 AIoT를 새로운 패러다임으로 도입하기 위해.
• AIoT 응용 사례에 특화된 딥 강화학습(DRL)에 대한 종합적인 튜토리얼을 제공하기 위해.
• AIoT에서 물리적 시스템 제어와 네트워크/자원 제어를 통합하는 일반 DRL 모델을 제안하기 위해.
• 응용 분야별로 기존의 DRL 연구를 체계적으로 조사하고 분류하기 위해.
• AIoT에서 DRL의 확장성, 실시간 성능, 내구성 측면에서 남아 있는 주요 과제와 향후 연구 방향을 규명하기 위해.

제안 방법

• IoT 기기, 엣지/ nebl 서버, 클라우드 서버를 통합하는 계층적 AIoT 아키텍처를 제안하며, 센서, 액추에이터, 지능형 에이전트를 포함한다.
• IoT 기기, 엣지, 또는 클라우드 서버의 에이전트가 이중 수준 제어를 위한 최적의 정책을 학습하는 통합 DRL 모델을 도입한다: 액추에이터 동작 제어와 네트워크/계산 자원 할당.
• 고차원 상태 공간에서 가치 함수나 정책을 표현하기 위해 딥 신경망(DNN)을 활용하여 원시 센서 데이터로부터 엔드 투 엔드 학습을 가능하게 한다.
• 연속적 및 이산 동작 공간에서 정책 학습을 위해 표준 DRL 알고리즘인 딥 Q 네트워크(DQN), 이점 액터-크리틱(A2C), 근접 정책 최적화(PPO)를 활용한다.
• DQN 기반 방법에서 학습을 안정화하기 위해 경험 리플레이와 타겟 네트워크를 적용하며, 복잡한 상태 표현을 처리하기 위해 딥 신경망을 통한 함수 근사 기법을 사용한다.
• 정책 최적화에서 더 효율적인 파rameter 업데이트를 위해 자연 경량 방법을 통합하여 수렴성과 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 강화학습은 물리적 제어 계층과 네트워크 제어 계층을 모두 아우르는 IoT 시스템에서 자율성을 달성하기 위해 어떻게 효과적으로 적용될 수 있는가?
• RQ2 AIoT 시스템에서 액추에이터 제어와 자원 할당을 통합하는 일반화된 DRL 프레임워크는 무엇인가?
• RQ3 기존의 AIoT 분야의 DRL 접근 방식은 아키텍처, 학습 목표, 응용 시나리오 측면에서 어떻게 다를 수 있는가?
• RQ4 실제 AIoT 시스템에 DRL을 구현할 때 고려해야 할 주요 과제는 무엇인가, 특히 지연, 확장성, 일반화성 측면에서?
• RQ5 다이나믹한 환경에서 DRL 기반 AIoT 시스템이 내구성 있고 해석 가능하며 구현 가능한 상태로 만들기 위해 남아 있는 열린 연구 문제는 무엇인가?

주요 결과

• IoT와 자율 제어 시스템의 통합은 지능형 에이전트가 감지 피드백 기반으로 장기적 제어 결정을 내리는 자율형 IoT(AIoT)의 출현을 가능하게 한다.
• DRL은 명시적 지도 없이 고차원 센서 입력에서 최적의 제어 정책을 학습할 수 있게 하여, 복잡하고 다이나믹한 환경에서 전통적 제어 방법보다 뛰어난 성능을 발휘한다.
• 제안된 일반 DRL 모델은 물리적 액추에이터 제어와 네트워크/계산 자원 제어를 공동 최적화하여 전체 시스템 성능을 향상시킨다.
• 기존의 AIoT 분야에서의 DRL 응용은 주로 스마트 빌딩, 스마트 그리드, 지능형 교통, 무선 네트워크에 집중되어 있으며, 실시간 성능 및 확장성 측면에서 다양하게 다를 수 있다.
• 주요 과제로는 고차원 상태-행동 공간, 지연된 보상, 부분 관측 가능성, 그리고 실제 구현에서 샘플 효율성과 안정성 있는 학습이 요구된다는 점이 있다.
• 미래의 연구는 환경 간 일반화, 정책의 해석 가능성, AIoT 시스템에서 분포 이탈 및 악성 공격에 대한 내구성 향상 문제를 해결해야 한다.