[논문 리뷰] On Inductive Biases in Deep Reinforcement Learning

Matteo Hessel, Hado van Hasselt외 2명|arXiv (Cornell University)|2019. 07. 05.

Reinforcement Learning in Robotics참고 문헌 29인용 수 21

한 줄 요약

이 논문은 딥 강화학습에서 도메인 특화 인덕티브 비아스의 영향을 조사하며, 보편적인 히وري스틱(예: 보상 클리핑, 고정된 액션 반복, 보상 스케일링)의 대체로 적응형, 학습 가능한 구성요소를 사용할 경우 아타리에서 경쟁력 있는 성능을 유지하거나 초월할 수 있으며, 추가 튜닝 없이도 새로운 연속 제어 태스크로의 일반화 능력이 향상됨을 보여준다.

ABSTRACT

Many deep reinforcement learning algorithms contain inductive biases that sculpt the agent's objective and its interface to the environment. These inductive biases can take many forms, including domain knowledge and pretuned hyper-parameters. In general, there is a trade-off between generality and performance when algorithms use such biases. Stronger biases can lead to faster learning, but weaker biases can potentially lead to more general algorithms. This trade-off is important because inductive biases are not free; substantial effort may be required to obtain relevant domain knowledge or to tune hyper-parameters effectively. In this paper, we re-examine several domain-specific components that bias the objective and the environmental interface of common deep reinforcement learning agents. We investigated whether the performance deteriorates when these components are replaced with adaptive solutions from the literature. In our experiments, performance sometimes decreased with the adaptive components, as one might expect when comparing to components crafted for the domain, but sometimes the adaptive components performed better. We investigated the main benefit of having fewer domain-specific components, by comparing the learning performance of the two systems on a different set of continuous control problems, without additional tuning of either system. As hypothesized, the system with adaptive components performed better on many of the new tasks.

연구 동기 및 목표

• 딥 강화학습에서 도메인 특화 히وري스틱을 적응형, 학습 가능한 구성요소로 대체할 경우 성능과 일반화 능력에 어떤 영향을 미치는지 평가하는 것.
• 수동으로 설정된 인덕티브 비아스에 대한 의존도를 줄이면 다양한 환경에서 딥 강화학습 에이전트의 일반성 향상에 기여하는지 조사하는 것.
• 적응형 솔루션이 아타리와 같은 벤치마크 작업에서 잘 튜닝된 히وري스틱과 동등하거나 슈퍼어리어할 수 있는지, 그리고 새로운 도메인에서는 추가 튜닝 없이도 가능한지 판단하는 것.
• 고정된 액션 반복과 보상 클리핑과 같은 일반적인 인덕티브 비아스가 RL 에이전트의 확장성과 이식 가능성에 악영향을 미치는지 평가하는 것.
• 도메인 특화 사전 지식을 제거할 경우 핵심 학습 알고리즘의 약점이 드러나는지, 아니면 전체적인 내성적 안정성과 적응 능력이 향상되는지 탐구하는 것.

제안 방법

• 고정된 도메인 특화 히وري스틱(예: 보상 클리핑, 고정된 액션 반복)을 학습 가능한, 미분 가능한 구성요소로 대체하여 학습 중에 적응하도록 하는 것.
• 장기적 의존성을 모델링하고 인덕티브 비아스의 엔드 투 엔드 학습을 가능하게 하기 위해 순환 상태 표현을 갖는 액터-크리틱 프레임워크를 사용하는 것.
• 표본 효율성을 향상시키기 위해 다수의 환경에서 공유 파라미터를 사용하는 비동기적 이득 액터-크리틱(A3C) 알고리즘을 사용하여 에이전트를 훈련하는 것.
• PopArt 정규화를 통한 적응형 보상 스케일링을 적용하여 훈련을 안정화하고 보상 크기 민감도를 감소시키는 것.
• 표준 벤치마크 게임을 사용하여 아타리 러닝 환경(ALE)에서 성능을 평가하고, 적응형 버전과 히وري스틱 기반 버전을 비교하는 것.
• 완전히 적응형 에이전트를 새로운 연속 제어 태스크 세트(예: MuJoCo 환경)에 적용하여 하이퍼파rameter 튜닝 없이 일반화 능력을 테스트하는 것.

실험 결과

연구 질문

• RQ1 고정된 도메인 특화 히وري스틱을 적응형, 학습 가능한 구성요소로 대체할 경우 아타리 벤치마크에서 성능이 떨어지는가?
• RQ2 완전히 적응형 인덕티브 비아스를 가진 에이전트가 아타리에 맞게 튜닝된 히وري스틱 기반 에이전트보다 새로운, 알려지지 않은 환경으로 더 잘 일반화되는가?
• RQ3 보상 클리핑과 고정된 액션 반복과 같은 인덕티브 비아스를 제거할 경우 학습 안정성과 최종 성능에 어떤 영향을 미치는가?
• RQ4 다양한 환경에서 적응형 구성요소와 잘 튜닝된 도메인 특화 히وري스틱 간의 표본 효율성과 최종 수익률을 비교하면 어떻게 되는가?
• RQ5 인덕티브 비아스가 핵심 학습 알고리즘의 한계를 가림으로써 어떤 정도로 영향을 미치며, 이를 제거하면 RL 에이전트의 투명성과 일반화 능력이 향상되는가?

주요 결과

• 적응형 구성요소는 아타리 러닝 환경(ALE)에서 도메인 특화 히وري스틱과 동등하거나 슈퍼어리어한 성능을 보였으며, 성능이 떨어지는 경우 거의 없고 오히려 높은 경우가 많았다.
• 완전히 적응형 에이전트는 아타리 태스크에 특화된 잘 튜닝된 A3C 에이전트보다 연속 제어 태스크 세트에서 더 높은 통합 성능를 달성했다.
• 완전히 적응형 시스템은 하이퍼파rameter 튜닝 없이도 새로운 환경으로 효과적으로 일반화되어, 즉각적인 일반성 향상을 보였다.
• 보상 클리핑은 여전히 일부 아타리 게임에서 히وري스틱이 성능 우위를 점하는 주요 예외였으며, 이는 유용한 인덕티브 비아스를 포함할 수 있음을 시사한다.
• 고정된 하이퍼파rameter(예: 액션 반복 수, 할인 요소) 사용은 복잡한 상호작용과 훈련 단계 간 적응성 부족으로 인해 비최적임이 입증되었다.
• 결과적으로, 일반적으로 사용되는 많은 히وري스틱이 경쟁력 있는 성능을 내기 위해 필수적인 것은 아니며, 오히려 딥 강화학습 에이전트의 일반성에 제한을 가할 수 있음을 시사한다.