[논문 리뷰] Natural Environment Benchmarks for Reinforcement Learning

Amy Zhang, Yuxin Wu외 1명|arXiv (Cornell University)|2018. 11. 14.

Reinforcement Learning in Robotics참고 문헌 29인용 수 32

한 줄 요약

이 논문은 강화학습을 위한 세 가지 새로운 벤치마크 패밀리를 소개하며, 자연 영상, 시각적 환경, 동적 감각 입력과 같은 실제 세계의 자연적 신호를 시뮬레이션 환경에 통합하여 알고리즘의 강건성 향상에 기여한다. 아타리 및 무조코 유사 환경에 실제 세계의 시각 데이터를 통합함으로써, 저자들은 최신 강화학습 알고리즘이 자연적 시각 노이즈 하에서 실패함을 입증하며, 현재 방법들이 종종 오픈 루프 제어에 의존하고 진정한 시각적 이해를 갖추지 못하고 있음을 드러낸다.

ABSTRACT

While current benchmark reinforcement learning (RL) tasks have been useful to drive progress in the field, they are in many ways poor substitutes for learning with real-world data. By testing increasingly complex RL algorithms on low-complexity simulation environments, we often end up with brittle RL policies that generalize poorly beyond the very specific domain. To combat this, we propose three new families of benchmark RL domains that contain some of the complexity of the natural world, while still supporting fast and extensive data acquisition. The proposed domains also permit a characterization of generalization through fair train/test separation, and easy comparison and replication of results. Through this work, we challenge the RL research community to develop more robust algorithms that meet high standards of evaluation.

연구 동기 및 목표

• 합성 시뮬레이터를 실제 세계의 자연적 신호로 대체하여 현재 강화학습 벤치마크의 취약성을 해결함으로써, 실제 세계의 복잡성을 더 잘 반영하고자 한다.
• 실제 세계의 데이터를 상태 공간의 일부로 사용함으로써 강화학습에서 공정한 훈련/테스트 분리가 가능하게 하여, 단순 시뮬레이션 평가의 한계를 극복하고자 한다.
• 강화학습 커뮤니티가 결정론적이고 낮은 복잡도의 환경을 초월해 더 강건한 알고리즘을 개발하도록 도전하고자 한다.
• 기존 최고 성능 강화학습 알고리즘이 자연적 시각 노이즈에 노출되었을 때 실패함을 입증함으로써, 진정한 시각 이해가 부족함을 시사하고자 한다.
• 새로운 평가 기준을 제안한다: 관측값을 순수한 노이즈로 대체하여 오픈 루프 정책 행동을 진단하는 데 사용한다.

제안 방법

• 세 가지 강화학습 벤치마크 패밀리를 도입한다: (1) 물체 위치 특정 및 분류를 위한 자연 이미지 기반 시각 추론 작업, (2) 자연 영상이 배경으로 사용된 수정된 아타리 환경, (3) 무조코 스타일 환경에 자연 신호를 통합한 동적 요소 통합.
• 예를 들어 유튜브와 같은 실제 세계의 영상 프레임을 배경 입력으로 사용하여 실제 세계의 시각 복잡성과 운동을 시뮬레이션한다.
• 기존 강화학습 환경의 관측 공간에 자연 신호를 통합하여, 알고리즘이 실제 세계의 시각적 노이즈와 변동성을 어떻게 다루는지 테스트한다.
• 표준 강화학습 알고리즘(PPO, ACKTR, A2C, DQN)을 이 새로운 벤치마크에 적용하여 자연적 시각 입력 하에서의 성능 저하를 평가한다.
• 순수한 확률적 요소와의 차이를 분리하기 위해 i.i.d. 가우시안 노이즈를 사용한 노이즈 주입 기준을 구현한다.
• 재현 가능성과 공정한 비교를 확보하기 위해 이전 연구들(Dhariwal et al., 2017; Kostrikov, 2018)의 동일한 코드베이스와 하이퍼파라미터를 사용한다.

실험 결과

연구 질문

• RQ1 현재 최고 성능 강화학습 알고리즘들이 합성 또는 정적 배경이 아닌 실제 세계의 자연적 시각 입력에 노출되었을 때 얼마나 잘 일반화되는가?
• RQ2 아타리나 무조코와 같은 표준 벤치마크에서 훈련된 강화학습 에이전트들이 진정으로 시각 추론을 수행할 수 있는가, 아니면 기억 또는 오픈 루프 제어에 의존하는가?
• RQ3 정적 배경이나 무작위 노이즈와 비교했을 때, 관측 공간에 자연 영상이 주입되었을 때 성능은 얼마나 떨어지는가?
• RQ4 관측값을 순수한 노이즈로 대체하는 것이 강화학습에서 오픈 루프 정책 행동을 진단하는 데 신뢰할 수 있는 진단 테스트가 될 수 있는가?
• RQ5 실제 환경 신호가 도입되었을 때, 시각적 이해는 강화학습 성능에 어떤 역할을 하는가?

주요 결과

• 자연 영상이 배경으로 삽입되었을 때 아타리 환경에서 성능이 크게 저하되며, 일부 알고리즘은 완전히 실패함을 확인하여, 알고리즘이 실제 세계의 시각 복잡성을 처리하지 못함을 시사한다.
• 기본값(검은 배경)과 자연 영상 사이의 성능 격차는 기본값과 i.i.d. 가우시안 노이즈 사이의 격차보다 더 크며, 자연적 시각 흐름이 순수한 무작위성보다 더 도전적인 교란 요소임을 보여준다.
• Beamrider와 같은 몇몇 아타리 게임에서는 자연 영상이 사용되었을 때 모든 알고리즘이 효과적인 정책을 학습하지 못함을 확인하여, 현재 강화학습 방법이 자연적 시각 역학에 대해 강건하지 않음을 시사한다.
• PixelMuJoCo 벤치마크에서는 관측값이 순수한 노이즈로 대체되었음에도 불구하고 최고 성능 정책이 높은 성능을 기록함을 확인하여, 이러한 정책들이 반응형 정책이 아니라 오픈 루프 제어기로 작동하고 있음을 시사한다.
• 결과는 현재 강화학습 알고리즘이 종종 시각 이해를 학습하지 못하고, 환경이 완전히 관측 가능하지 않을 경우 결정론적 또는 기억 기반 행동에 의존함을 시사한다.
• 동일 알고리즘의 서로 다른 구현 간 성능 격차(예: Dhariwal et al. 대비 Kostrikov)를 관측하여 재현 가능성과 일관된 평가 기준의 중요성을 강조한다.