[논문 리뷰] Curiosity-driven reinforcement learning with homeostatic regulation

Ildefons Magrans de Abril, Ryota Kanai|arXiv (Cornell University)|2018. 01. 23.

Reinforcement Learning in Robotics참고 문헌 12인용 수 13

한 줄 요약

이 논문은 연속 제어 환경에서 탐색과 안정성의 균형을 이루기 위해 생리적 안정성 조절 성분을 통합한 궁금증 기반 강화학습 알고리즘을 제안한다. 정보 이론적 내재 보상과 복잡한 비선형 영역에서의 학습을 우선시하는 생리적 안정성 드라이브를 융합함으로써, 이론적 전진 모델 정확도와 샘플 효율성이 향상되며, 어려운 환경에서 순수 궁금증 기반 접근법보다 뛰어난 성능을 발휘한다.

ABSTRACT

We propose a curiosity reward based on information theory principles and consistent with the animal instinct to maintain certain critical parameters within a bounded range. Our experimental validation shows the added value of the additional homeostatic drive to enhance the overall information gain of a reinforcement learning agent interacting with a complex environment using continuous actions. Our method builds upon two ideas: i) To take advantage of a new Bellman-like equation of information gain and ii) to simplify the computation of the local rewards by avoiding the approximation of complex distributions over continuous states and actions.

연구 동기 및 목표

• 순수 궁금증 기반 탐색의 한계를 해결하기 위해, 학습을 위해 안정적이고 반복적인 상호작용이 필요한 영역를 간과할 수 있는 문제를 해결한다.
• 인공 에이전트에서 탐색의 이중 생물학적 드라이브인 탐색(이형동태성)과 생리적 안정 유지(동태성)를 모델링한다.
• 정보 이득과 익숙함 기반 조정을 통해 내재 보상 조절을 통해 전진 모델 학습 효율성을 향상시킨다.
• 궁금증과 생리적 안정성 조절을 조합함으로써 비선형적이고 복잡한 환경에서 학습 성능 향상 여부를 검증한다.

제안 방법

• 조건부 상호정보량을 통한 정보 이득(이형동태적 궁금증)과 과거 상태-행동 쌍에 대한 익숙함 기반 생리적 안정성 조절을 융합한 새로운 내재 보상 함수를 제안한다.
• 인과 조건부 방향 상호정보량을 사용하여 정보 이득에 대한 벨먼 유사 재귀 방정식을 유도함으로써 시간적 책임 할당을 가능하게 한다.
• 연속 상태와 행동에 대한 복잡한 분포 근사가 필요 없이 국소 보상 계산을 단순화한다.
• 전진 모델 $ f $ 와 확장된 전진 모델 $ k $ 를 사용하여 상태 전이를 예측하며, 생리적 안정성 항목은 익숙한 상태-행동 패턴에서의 이탈을 방지한다.
• DDPG를 사용하여 하이브리드 보상 $ r_t = \text{IG}(s_t) + \frac{\beta}{2} \text{Fam}(s_t, a_t) $ 를 적용한다. 여기서 $ \text{IG} $ 는 정보 이득이고 $ \text{Fam} $ 는 익숙함을 측정한다.
• 경험 재생과 미니배치 업데이트를 사용하여 연속 제어 설정에서 에이전트와 내부 모델을 함께 훈련한다.

실험 결과

연구 질문

• RQ1 생리적 안정성 드라이브는 비선형적이고 복잡한 환경에서 궁금증 기반 탐색의 효율성을 향상시킬 수 있는가?
• RQ2 익숙함 기반 보상으로 내재 궁금증을 조절할 경우 전진 모델 학습 정확도에 어떤 영향을 미치는가?
• RQ3 이형동태성과 생리적 안정성 드라이브의 조합은 순수 궁금증보다 더 높은 샘플 효율성을 제공하는가?
• RQ4 생리적 안정성 조절을 통해 비선형성이 높은 영역(예: 3개 방 환경에서의 '문')에서의 학습을 우선시할 수 있는가?

주요 결과

• 생리적 안정성 성분 $ \beta $ (또는 $ \bar{\beta} $) 를 증가시킬수록 전진 모델 정확도가 향상되었으며, $ \beta = 7 $ 에서 평균 제곱오차(MSE)가 최소로 관찰되었다. 다만 실험 조건이 다름에 따라 절대적 MSE는 무작위 샘플링보다 높았다.
• $ \beta = 7 $ 일 때, 에이전트는 비선형 영역(예: '문') 근처에 자리를 잡는 정책을 학습하여 복잡한 역학적 영역을 우선적으로 탐색함을 보였다.
• 제한된 시작 조건(하나의 방만 가능)에서, 생리적 안정성-궁금증 에이전트는 15만 번의 에피소드 동안 평균 1,000회 이상 상단 방에 도달했으며, 순수 무작위 탐색에 비해 145회에 그쳤다.
• 학습이 가장 어려운 영역에 집중함으로써 환경 샘플링 효율성이 향상되었으며, 이는 고곡률 상태-행동 영역의 커버리지가 향상된 것으로 확인되었다.
• 하이브리드 보상 전략은 순수 궁금증 또는 무작위 기준보다 더 체계적이고 효과적인 탐색 패턴을 유도했다.
• 결과적으로 생리적 안정성 조절은 정보가 적은 영역에서의 과도한 탐색을 방지하고 궁금증을 학습이 풍부한 영역으로 이끌어낸다.