[논문 리뷰] Difference of Convex Functions Programming Applied to Control with Expert Data

Bilal Piot, Matthieu Geist외 1명|arXiv (Cornell University)|2016. 06. 03.

Reinforcement Learning in Robotics참고 문헌 8인용 수 6

한 줄 요약

이 논문은 최적 벨만 잔여(norm)이 DC(차분된 볼록) 함수임을 이용하여, 차분된 볼록(DC) 프로그래밍을 적용해 강화학습 및 암시학습 알고리즘인 RCAL과 RLED를 향상시킨다. 최적 벨만 잔여(norm)의 노름이 DC 함수임을 이용해 최적화를 수행하는 DC 알고리즘(DCA)을 사용함으로써, RCAL에서는 뚜렷한 성능 향상을 달성하였고, RLED에서는 약간의 향상만을 보였으며, 이는 전문가 데이터를 활용한 제어 분야에서 DC 프로그래밍의 잠재력을 입증한다.

ABSTRACT

This paper reports applications of Difference of Convex functions (DC) programming to Learning from Demonstrations (LfD) and Reinforcement Learning (RL) with expert data. This is made possible because the norm of the Optimal Bellman Residual (OBR), which is at the heart of many RL and LfD algorithms, is DC. Improvement in performance is demonstrated on two specific algorithms, namely Reward-regularized Classification for Apprenticeship Learning (RCAL) and Reinforcement Learning with Expert Demonstrations (RLED), through experiments on generic Markov Decision Processes (MDP), called Garnets.

연구 동기 및 목표

• 배치 강화학습에서의 DC 프로그래밍 기법을 전문가 데이터와 함께 제어에 확장한다.
• RCAL과 RLED의 목적 함수를 DC 프로그램으로 재구성함으로써 최적화 성능을 향상시킨다.
• DCA 기반 최적화가 기존의 경사하강법보다 성능이 뛰어나다는지 평가한다.
• 전문가 시연 데이터를 포함한 순차적 결정 문제에서 DC 기반 최적화의 확장성과 강건성에 대해 조사한다.
• 미래의 DC 기반 강화학습 및 암시학습 방법의 확장에 있어 비모수적 경사하강법의 잠재력을 탐색한다.

제안 방법

• 최적 벨만 잔여(norm)의 노름을 차분된 볼록(DC) 함수로 공식화하여, DC 프로그래밍의 적용 가능성을 확보한다.
• 정규화된 분류 기준을 볼록 함수의 차분으로 표현함으로써 RCAL과 RLED 알고리즘을 DC 프로그램으로 재구성한다.
• DC 알고리즘(DCA)을 사용하여 경사하강법 또는 선형 프로그래밍을 통해 유도된 볼록 하위문제를 반복적으로 해결한다.
• DCA와 표준 경사하강법 간의 공정한 비교를 위해 일관된 업데이트 수와 동일한 초기화(예: LSPI 출력)를 사용한다.
• 다양한 전문가 데이터 및 롤인 데이터 크기를 가진 무작위로 생성된 마르코프 결정 과정(Garnets)에 이 방법을 적용한다.
• 평균 에피소드 리워드 및 향상 비율과 같은 성능 지표를 사용하여 DCA와 기준 경사하강법 간의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 최적 벨만 잔여(norm)의 노름에 기반한 강화학습 및 암시학습 알고리즘에 대해 DC 프로그래밍을 효과적으로 적용할 수 있는가?
• RQ2 RCAL 기준을 최소화하기 위해 DCA를 사용할 경우, 표준 경사하강법 대비 측정 가능한 성능 향상이 발생하는가?
• RQ3 RLED는 기존에 경사하강법으로도 높은 성능를 보이고 있으므로, DCA는 RLED 성능 향상에 어느 정도 기여하는가?
• RQ4 전문가 데이터 및 롤인 데이터의 크기가 RLED에서 DCA의 표준 최적화 대비 상대적 이점에 영향을 미치는가?
• RQ5 DC 기반 최적화는 향후 DC 기반 강화학습 및 암시학습 방법의 확장에 있어 수작업으로 설계된 특징에 대한 의존도를 줄이기 위해 비모수적 경사하강법으로 확장될 수 있는가?

주요 결과

• DC 프로그래밍은 RCAL에서 성능 향상이 뚜렷하게 이루어졌으며, 다양한 Garnet 환경에서 평균 에피소드 리워드에서 뚜렷한 향상을 보였다.
• DCA를 사용한 RCAL의 향상 비율은 표준 경사하강법 대비 상당히 높아, 강력한 경험적 우위를 보였다.
• RLED의 경우, DCA는 표준 경사하강법 대비 약간의 성능 향상만을 보였으며, 이는 RLED가 기존 경사하강법으로도 매우 효과적이라는 것을 시사한다.
• 성능 곡선과 향상 비율 플롯을 통해 RLED와 RLEDDC(RLED에 DCA 적용) 간의 성능 격차는 미미한 것으로 확인되었다.
• RLED 실험의 집중 분석 결과, DCA는 극히 미미한 성능 향상을 제공하는 것으로 나타났으며, 이는 기준 모델가 이미 높은 성능를 보이고 있기 때문일 것이다.
• 결과적으로, DC 프로그래밍은 최적 벨만 잔여(norm)의 노름이 주요 최적화 기준이 되는 문제, 예를 들어 RCAL와 같이, 특히 유용할 수 있음을 시사한다.