[논문 리뷰] Never Forget: Balancing Exploration and Exploitation via Learning Optical Flow

Hsuan-Kung Yang, Po-Han Chiang외 3명|arXiv (Cornell University)|2019. 01. 24.

Reinforcement Learning in Robotics참고 문헌 35인용 수 7

한 줄 요약

이 논문은 깊이 강화 학습에서 탐색을 위한 상태의 신선함을 측정하기 위해 광학 흐름 추정 오차를 사용하는 플로우 기반 내재적 호기심 모듈(FICM)을 제안한다. 광학 흐름을 활용해 시각적 운동 일관성을 추적함으로써 FICM은 치명적인 기억 상실을 줄이며, 성능 저하 없이 희박한 보상 환경에서 효율적으로 탐색하고 안정적인 성능을 유지할 수 있다.

ABSTRACT

Exploration bonus derived from the novelty of the states in an environment has become a popular approach to motivate exploration for deep reinforcement learning agents in the past few years. Recent methods such as curiosity-driven exploration usually estimate the novelty of new observations by the prediction errors of their system dynamics models. Due to the capacity limitation of the models and difficulty of performing next-frame prediction, however, these methods typically fail to balance between exploration and exploitation in high-dimensional observation tasks, resulting in the agents forgetting the visited paths and exploring those states repeatedly. Such inefficient exploration behavior causes significant performance drops, especially in large environments with sparse reward signals. In this paper, we propose to introduce the concept of optical flow estimation from the field of computer vision to deal with the above issue. We propose to employ optical flow estimation errors to examine the novelty of new observations, such that agents are able to memorize and understand the visited states in a more comprehensive fashion. We compare our method against the previous approaches in a number of experimental experiments. Our results indicate that the proposed method appears to deliver superior and long-lasting performance than the previous methods. We further provide a set of comprehensive ablative analysis of the proposed method, and investigate the impact of optical flow estimation on the learning curves of the DRL agents.

연구 동기 및 목표

• 깊이 강화 학습을 위한 호기심 기반 탐색 방법에서 치명적인 기억 상실 문제를 해결하기 위해.
• 에이전트가 반복적으로 이전에 탐색한 상태를 재방문하는 고차원적이고 희박한 보상 환경에서 탐색 효율을 향상시키기 위해.
• 기존에 방문한 상태의 기억을 더 잘 유지하는 더 견고한 내재적 보상 메커니즘을 개발하기 위해.
• 광학 흐름 추정 오차를 상태의 새로운 정도의 대리 신호로 사용하여 탐색과 이용의 균형을 맞추기 위해.

제안 방법

• 연속 프레임 간 광학 흐름 예측 오차를 기반으로 내재적 보상을 계산하는 FICM이라는 호기심 모듈을 제안한다.
• 상태 $ S_t $ 와 $ S_{t+1} $ 사이의 운동을 추정하는 흐름 예측기(Flow Predictor)를 사용하며, 이 오차가 새로운 정도 신호로 기능한다.
• 두 가지 변형을 사용한다: FICM-S(단일 프레임 흐름 예측기를 사용)와 FICM-C(흐름 일관성 손실을 사용해 더 높은 견고성 확보).
• ViZDoom과 같은 희박한 보상을 가진 환경에서 A3C 알고리즘에 광학 흐름 기반 내재적 보상을 통합하여 에이전트를 훈련시킨다.
• 광학 흐름을 활용해 시각적 운동의 이질성을 탐지함으로써, 프레임 예측보다 더 신뢰성 있게 새로운 상태 또는 이전에 방문한 상태를 식별한다.
• 표준 ICM에서 발생하는 오류에 취약한 다음 프레임 예측에 의존도를 줄이며, 이로 인해 발생하는 기억 상실 문제를 완화한다.

실험 결과

연구 질문

• RQ1 광학 흐름 추정 오차는 깊이 강화 학습에서 상태의 새로운 정도를 측정하는 데 더 안정적이고 신뢰할 수 있는 신호로 기능할 수 있는가?
• RQ2 기존의 프레임 예측 기반 방법과 비교해 광학 흐름을 사용할 경우 호기심 기반 탐색에서 치명적인 기억 상실을 줄일 수 있는가?
• RQ3 희박한 보상 환경에서 제안된 FICM 방법은 ICM과 RND에 비해 탐색 효율성과 장기적 성능 측면에서 어떻게 비교되는가?
• RQ4 장기간의 훈련 기간 동안 광학 흐름은 탐색된 상태의 안정성과 기억 가능성에 어떤 영향을 미치는가?
• RQ5 FICM은 ICM보다 더 적은 파라미터로 더 나은 성능을 달성하면서도 기억 상실로 인한 성능 저하를 피할 수 있는가?

주요 결과

• FICM 기반 에이전트는 ICM이 1,000만 번째 타임스텝 이후에 치명적인 기억 상실을 겪는 것과 달리, 희박한 보상 및 매우 희박한 보상 설정 모두에서 시간이 지나도 성능 저하가 없음을 보였다.
• FICM-S와 FICM-C 변형 모두 ICM과 ICM-pixels보다 안정적이고 뛰어난 성능을 달성했으며, FICM-S는 ICM가 사용하는 파라미터의 55.89%만으로도 성능을 달성했다.
• 내재적 보상 변화 그래프 분석 결과, FICM은 이전에 방문한 상태를 낮은 새로운 정도로 정확히 식별하여 반복 탐색을 방지하는 반면, ICM은 장기간 훈련 후 오랜 상태를 새로운 상태로 잘못 분류하는 경향을 보였다.
• FICM-C와 FICM-S의 파라미터 수는 ICM 대비 크게 줄었으며(각각 78.84%와 55.89%), 성능 향상에도 불구하고 파라미터 수가 적었다.
• ICM-pixels는 파라미터 수가 적었음에도 불구하고(ICM의 43.53%), 매우 희박한 보상 설정에서는 실패했으며, 이는 픽셀 수준의 예측 방식의 한계를 보여준다.
• 제거 분석 결과, 광학 흐름 추정이 기억 가능성 향상과 기억 상실 감소에 기여하며, 탐색에서의 평생 학습을 가능하게 한다.