[논문 리뷰] Hashing over Predicted Future Frames for Informed Exploration of Deep Reinforcement Learning

Haiyan Yin, Chen, Jianda외 1명|arXiv (Cornell University)|2017. 07. 03.

Reinforcement Learning in Robotics참고 문헌 22인용 수 6

한 줄 요약

이 논문은 딥 강화학습을 위한 새로운 지능형 탐색 프레임워크를 제안하며, 향후 프레임을 예측하는 딥 액션 조건부 예측 모델과 국소성에 민감한 해싱(LSH)을 사용한 컨volutional autoencoder를 활용하여 예측된 미래 상태의 신선도를 평가한다. 예측된 프레임과 실제 프레임의 해시 코드를 매칭함으로써 에이전트는 예측된 상태의 빈도를 정량화하고, 가장 덜 탐색된 궤적을 이끄는 행동을 선택함으로써, 기준 방법에 비해 샘플 효율성과 Atari 2600 환경에서의 성능을 크게 향상시킨다.

ABSTRACT

In deep reinforcement learning (RL) tasks, an efficient exploration mechanism should be able to encourage an agent to take actions that lead to less frequent states which may yield higher accumulative future return. However, both knowing about the future and evaluating the frequentness of states are non-trivial tasks, especially for deep RL domains, where a state is represented by high-dimensional image frames. In this paper, we propose a novel informed exploration framework for deep RL, where we build the capability for an RL agent to predict over the future transitions and evaluate the frequentness for the predicted future frames in a meaningful manner. To this end, we train a deep prediction model to predict future frames given a state-action pair, and a convolutional autoencoder model to hash over the seen frames. In addition, to utilize the counts derived from the seen frames to evaluate the frequentness for the predicted frames, we tackle the challenge of matching the predicted future frames and their corresponding seen frames at the latent feature level. In this way, we derive a reliable metric for evaluating the novelty of the future direction pointed by each action, and hence inform the agent to explore the least frequent one.

연구 동기 및 목표

• 딥 강화학습에서 흔히 발생하는 고차원적이고 연속적인 상태 공간에서의 효율적 탐색 문제를 해결하기 위해.
• 에이전트가 향후 궤적을 예측하고, 무작위 탐색에 의존하지 않고도 예측된 상태의 신선도를 평가할 수 있는 메커니즘을 개발하기 위해.
• 모델 기반 예측과 해싱 기법을 통합하여 미래 상태의 상태 방문 빈도를 신뢰할 수 있게 추정하기 위해.
• 표준 탐색 히وري스틱인 ε-그리디와 같은 방법들이 방향성을 잃고 복잡한 환경에서 실패하는 문제를 해결하기 위해.
• 학습된 해시 코드를 통해 예측된 미래 상태와 그 빈도 추정치를 기반으로 결정론적이고 지식 기반의 탐색 전략을 구현하기 위해.

제안 방법

• 주어진 상태-행동 쌍에서 다단계 향후 프레임 예측을 생성하기 위해 액션 조건부 딥 예측 모델을 훈련한다.
• 관측된 프레임에서 고수준 특징을 추출하기 위해 딥 컨volutional 오토에인코더를 사용하고, 국소성에 민감한 해싱(LSH)을 적용하여 효율적인 유사도 검색을 위한 이진 해시 코드를 생성한다.
• 이중 단계 훈련 절차를 도입한다: 먼저 재구성 손실을 통해 오토에인코더를 사전 훈련한 후, 예측된 프레임의 코드와 해당 진짜 프레임 코드를 일치시키기 위한 손실을 사용해 미세 조정한다.
• 잠재적 특징 수준에서 예측된 프레임의 해시 코드를 실제 관측된 프레임의 해시 코드와 매칭하여, 예측된 상태의 빈도 수를 신뢰성 있게 계산할 수 있도록 한다.
• 각 행동에 대해 예측된 미래 상태 해시 코드의 역빈도를 기반으로 노바일리티 점수를 계산하고, 이는 에이전트가 가장 자주 방문하지 않은 미래 궤적을 향해 탐색하도록 이끈다.
• 노바일리티 메트릭을 DQN 알고리즘에 통합하여, 랜덤 탐색을 지능형이고 결정론적인 행동 선택 기반의 예측된 상태의 신선도에 의해 대체한다.

실험 결과

연구 질문

• RQ1 미래 프레임 예측과 해싱을 조합함으로써, 랜덤 탐색에 비해 더 효율적이고 방향성 있는 탐색이 딥 강화학습에서 가능할 수 있는가?
• RQ2 예측된 미래 프레임의 해시 코드를 어떻게 의미 있는 방식으로 관측된 프레임의 해시 코드와 매칭시켜 그 방문 빈도를 추정할 수 있는가?
• RQ3 학습된 모델을 사용해 미래 상태를 예측하고 그 신선도를 평가함으로써, 희박 보상 환경에서 샘플 효율성과 성능이 향상되는가?
• RQ4 예측된 상태 빈도 기반의 결정론적 탐색 전략이 복잡한 환경에서 ε-그리디와 같은 확률적 탐색 히وري스틱을 능가할 수 있는가?
• RQ5 모델 기반 예측과 해싱을 통합함으로써, Atari 2600과 같은 딥 강화학습 과제에서 탐색 성능이 얼마나 향상되는가?

주요 결과

• 제안된 DQN-Informed-Hash 방법은 테스트된 모든 Atari 2600 환경에서 DQN-Random, A3C, A3C-CTS를 압도적으로 능가하며 성능 점수에서 뚜렷한 향상을 보였다.
• Breakout 환경에서 DQN-Informed-Hash는 점수 451.93를 기록했고, DQN-Informed는 진전이 없었으며 점수 0.93를 기록하여, 희박 보상 환경에서 제안된 방법의 우수성을 입증했다.
• 테스트된 도메인 전반에서 이전 최고 성능 기준인 DQN-Informed 기반보다 평균 15.6% 향상된 성능을 달성했다.
• 2단계에서의 코드 매칭 손실은 평균 코드 손실을 1 이상에서 거의 0 수준으로 감소시켜, 예측된 프레임에 대한 의미 있는 빈도 수 계산을 가능하게 했다.
• 코드 매칭 미세 조정 후 재구성 품질은 略로 감소했지만, 예측된 프레임은 여전히 의미적으로 유의미하며 환경의 핵심 역학을 반영했다.
• 해시 코드는 상태 유사도를 효과적으로 포착한다: 작은 변화를 일으키는 행동(예: no-op, 왼쪽)은 유사한 코드를 생성하고, 큰 변화를 일으키는 행동(예: 오른쪽)은 다소 다른 코드를 생성한다.