[논문 리뷰] Interpretable Reinforcement Learning with Ensemble Methods

Alexander Brown, Marek Petrik|arXiv (Cornell University)|2018. 09. 19.

Reinforcement Learning in Robotics참고 문헌 13인용 수 3

한 줄 요약

이 논문은 강화학습을 위한 해석 가능한 정책을 만들기 위해 기울기 부스팅 회귀 트리를 사용하는 것을 제안한다. 신경망 또는 SARSA 에이전트로부터 수집한 정책 데이터를 기반으로 앙상블을 훈련한다. 이 방법은 Cart-Pole 및 Mountain Car와 같은 단순 환경에서 원래 에이전트와 동등하거나 이를 초월하는 성능을 달성하며, 인간이 이해할 수 있는 모델이 고성능 강화학습 시스템과도 맞먹을 수 있음을 보여준다.

ABSTRACT

We propose to use boosted regression trees as a way to compute human-interpretable solutions to reinforcement learning problems. Boosting combines several regression trees to improve their accuracy without significantly reducing their inherent interpretability. Prior work has focused independently on reinforcement learning and on interpretable machine learning, but there has been little progress in interpretable reinforcement learning. Our experimental results show that boosted regression trees compute solutions that are both interpretable and match the quality of leading reinforcement learning methods.

연구 동기 및 목표

• 의료 및 금융과 같은 고위험 분야에서 해석 가능한 솔루션의 부족을 해결하기 위해.
• 특히 기울기 부스팅 결정 트리와 같은 앙상블 방법이 정확하고 해석 가능한 정책을 생성할 수 있는지 탐색하기 위해.
• 두 가지 접근 방식을 평가하기 위해: (1) 사전 훈련된 에이전트로부터 수집한 정책 데이터에 대한 지도 학습, 그리고 (2) 처음부터 결정 트리로 정책 기울기 부스팅을 수행하기 위해.
• 트리 앙상블가 원래 강화학습 에이전트보다 과적합을 억제하고 일반화 성능가 향상하는지 조사하기 위해.
• 모델 크기를 제한하면서 성능를 유지하기 위해 공간 효율적인 트리 재활용의 가능성 평가하기 위해.

제안 방법

• 강화학습 환경에서 사전 훈련된 딥 네ural 네트워크 정책의 행동을 모방하도록 작은 회귀 트리의 기울기 부스팅 앙상블을 훈련한다.
• 훈련된 강화학습 에이전트(예: 신경망 또는 SARSA)로부터 수집한 상태-행동 쌍을 사용하여 지도 학습을 수행하고, 기울기 부스팅을 통해 앙상블을 훈련한다.
• 각 트리를 정책 매개변수로 간주하고 기대 수익에 대한 기울기 상승을 통해 직접 정책 기울기 경사 하강법을 결정 트리에 적용한다.
• 기존 트리를 재사용하여 잔차와 제거 예정인 트리의 예측값을 기반으로 새로운 트리를 훈련함으로써 트리 재활용을 구현한다.
• 정책 기울기 업데이트의 분산을 줄이기 위해 가치 함수 근사법을 사용하며, 액터-크리틱 방법과 유사하게 작동한다.
• 해석 가능성 유지의 목적으로 트리 깊이와 앙상블 크기를 제한하며, 해석 가능성은 노드 수 또는 트리 깊이로 측정한다.

실험 결과

연구 질문

• RQ1 기울기 부스팅 앙상블로 구성된 결정 트리가 표준 강화학습 벤치마크에서 딥 네ural 네트워크 정책의 성능을 따라할 수 있는가?
• RQ2 앙상블 방법이 원래 신경망 정책에 비해 일반화 성능가 향상되고 과적합을 억제하는가?
• RQ3 결정 트리로 정책 기울기 부스팅을 통해 간단한 MDP에서 처음부터 점진적으로 효과적인 정책을 학습할 수 있는가?
• RQ4 앙상블 내 트리 재활용이 성능를 크게 떨어뜨리지 않으면서 모델 크기를 줄일 수 있는가?
• RQ5 결과로 도출된 정책이 인간이 얼마나 잘 이해할 수 있는가? 해석 가능성과 성능 간의 트레이드오프는 어느 정도인가?

주요 결과

• Cart-Pole 환경에서 신경망 정책 데이터를 기반으로 훈련된 앙상블는 에피소드당 200단계를 모두 완수하는 완벽한 성능를 달성했으며, 과적합의 징후를 보인 원래 신경망보다 뛰어난 성능를 보였다.
• Mountain Car 환경에서 앙상블는 SARSA 에이전트와 동일한 에피소드 수익을 달성했지만, 이를 초월하지는 못했다.
• 결정 트리로 정책 기울기 부스팅을 통해 누적 보상이 시간이 지남에 따라 증가했으며, Cart-Pole에서 에피소드당 최대 200점에 수렴했지만, 신경망에 비해 훨씬 느린 속도로 진행되었다.
• 정책 기울기 부스팅을 통한 학습 과정은 최적 성능에 도달하기 위해 약 8,000~10,000 에피소드가 필요했고, 신경망의 경우 약 400 에피소드로 충분했다.
• 트리 재활용은 성능에 심각한 영향을 미쳤다. 에피소드 4,000에서 재활용을 시작한 후 성능이 떨어졌고, 이후 복구되지 않았다. 이는 높은 보상을 유지하기 위해 유의미한 전략이 아니라는 것을 시사한다.
• 앙상블 방법은 작은 트리를 사용함으로써 해석 가능성을 유지했으며, 결과로 도출된 모델은 인간이 이해할 수 있었고, 트리의 구조를 따라가며 결정 규칙를 추적할 수 있었다.