[논문 리뷰] Deep Reinforcement Learning: Framework, Applications, and Embedded Implementations

Hongjia Li, Tianshu Wei외 3명|arXiv (Cornell University)|2017. 10. 10.

Smart Grid Energy Management참고 문헌 17인용 수 15

한 줄 요약

이 논문은 온라인 Q-학습을 통한 동적 의사결정을 위한 오프라인 DNN 훈련과 통합된 일반적인 딥 강화학습(DRL) 프레임워크를 제안한다. 사이버-물리 시스템에서 최적 제어를 위해 개발된 이 프레임워크는 클라우드 컴퓨팅에서 최대 54.1%의 에너지 절감, 스마트 그리드 스케줄링에서 22.77%의 비용 절감, 그리고 HVAC 제어에서 20–70%의 비용 절감을 입증하였다. 또한 스토하스틱 컴퓨팅 기반 DNN 구현을 통해 초저전력 하드웨어를 실현하였으며, 면적은 58.8k $\mu m^2$이고 전력 소비는 7.73 mW였다.

ABSTRACT

The recent breakthroughs of deep reinforcement learning (DRL) technique in Alpha Go and playing Atari have set a good example in handling large state and actions spaces of complicated control problems. The DRL technique is comprised of (i) an offline deep neural network (DNN) construction phase, which derives the correlation between each state-action pair of the system and its value function, and (ii) an online deep Q-learning phase, which adaptively derives the optimal action and updates value estimates. In this paper, we first present the general DRL framework, which can be widely utilized in many applications with different optimization objectives. This is followed by the introduction of three specific applications: the cloud computing resource allocation problem, the residential smart grid task scheduling problem, and building HVAC system optimal control problem. The effectiveness of the DRL technique in these three cyber-physical applications have been validated. Finally, this paper investigates the stochastic computing-based hardware implementations of the DRL framework, which consumes a significant improvement in area efficiency and power consumption compared with binary-based implementation counterparts.

연구 동기 및 목표

• 다양한 최적화 목표를 가진 다양한 사이버-물리 시스템에 적용 가능한 일반화 가능한 딥 강화학습(DRL) 프레임워크를 개발하는 것.
• 클라우드 리소스 할당, 주거용 스마트 그리드 작업 스케줄링, 그리고 HVAC 시스템 제어와 같은 실세계 응용 분야에서 DRL 프레임워크의 효과성을 검증하는 것.
• 통합형 임베디드 시스템에서 고에너지 효율성과 면적 절감을 달성하기 위해 DRL DNN의 스토하스틱 컴퓨팅(SC)-기반 하드웨어 구현을 설계하고 최적화하는 것.
• 파이ipel라인 스토하스틱 컴퓨팅 기반 DNN 아키텍처가 통합형 DRL 시스템에서 처리량을 크게 향상시키면서도 저전력 및 저면적 오버헤드를 유지할 수 있는지 입증하는 것.

제안 방법

• DRL 프레임워크는 Q-값 함수를 근사하기 위한 오프라인 단계에서 딥 네트워크(DNN) 훈련을 수행하고, 실시간 행동 선택 및 Q-값 업데이트를 위한 온라인 단계에서 딥 Q-학습을 적용한다.
• 이 프레임워크는 이중 단계 제어 루프를 사용한다: 경험 재생과 타겟 네트워크를 활용한 오프라인 DNN 가중치 업데이트, 그리고 사전 훈련된 DNN를 사용한 온라인 추론을 통한 Q-값 추정.
• 스토하스틱 컴퓨팅(SC)은 DNN 하드웨어를 구현하기 위해 사용되며, 이는 이진 산술을 비트 스트림 기반 연산으로 대체하여 면적과 전력 소비를 감소시킨다.
• 각 DNN 레이어 내부에 깊은 파이ipel라인 기법을 적용하여 덧셈 유닛과 활성화 유닛 사이에 레지스터를 삽입함으로써 클럭 주파수와 처리량을 증가시킨다.
• SC 기반 DNN는 내적 곱셈을 위한 XNOR 게이트, 30입력 근사적 곱셈 회로(APC), 그리고 Btanh를 활성화 함수로 사용하며, 데이터 인터페이싱을 위해 스토하스틱에서 이진으로, 이진에서 스토하스틱으로의 변환기 기능을 포함한다.
• 주거용 스마트 그리드 응용을 위해 26-30-1 DNN 아키텍처를 사용하여 시스템을 평가하였으며, 다양한 비트 스트림 길이(256–1024)와 파이ipel라인 유무 조건에서 성능을 측정하였다.

실험 결과

연구 질문

• RQ1 다양한 최적화 목표를 가진 다양한 사이버-물리 시스템에 일반적인 DRL 프레임워크를 효과적으로 적용할 수 있는가?
• RQ2 제안된 DRL 프레임워크는 클라우드 컴퓨팅, 스마트 그리드, HVAC 시스템에서 에너지 소비와 운영 비용을 줄이는 데 얼마나 효과적인가?
• RQ3 스토하스틱 컴퓨팅 기반 DNN 하드웨어 구현은 이진 기반 대비 면적 효율성과 전력 소비에서 뚜렷한 향상을 이룰 수 있는가?
• RQ4 깊은 파이ipel라인 기법이 임베디드 DRL 시스템 내 스토하스틱 컴퓨팅 기반 DNN의 처리량과 성능을 어느 정도 향상시키는가?

주요 결과

• Google 클러스터 트레이스를 사용한 클라우드 컴퓨팅 리소스 할당에서 DRL 프레임워크는 최대 54.1%의 에너지 절감을 달성하였으며, 기준 방법보다 뛰어난 성능을 보였다.
• 주거용 스마트 그리드 작업 스케줄링에서 DRL 접근법은 기준 알고리즘 대비 총 에너지 비용을 최대 22.77%까지 절감하였다.
• 건물 HVAC 제어에서 DRL 방법은 온도 위반 비율이 1.0% 이하를 유지하면서도 운영 비용을 20%에서 70%까지 감소시켰다.
• SC 기반 하드웨어 구현은 전력 소비가 단지 7.73 mW이고 면적이 58,771.53 $\mu m^2$에 그쳤으며, 파이ipel라인을 적용한 경우 지연 시간은 261.12 ns였다.
• 파이ipel라인을 적용한 경우 동일한 비트 스트림 길이에서 비파이ipel라인 설계 대비 지연 시간을 37% 감소시켜 처리량을 크게 향상시켰다.
• 높은 비트 스트림 길이(최대 1024)에서도 SC 기반 구현은 낮은 전력 및 면적 비용을 유지하였으며, 저정밀도 설계 대비 전력과 면적 증가 폭이 미미하였다.