[논문 리뷰] Strategic Attentive Writer for Learning Macro-Actions

Alexander -, Vezhnevets외 6명|arXiv (Cornell University)|2016. 06. 15.

Artificial Intelligence in Games참고 문헌 20인용 수 80

한 줄 요약

STRAW는 환경 보상 신호로부터만 임의의 행동 계획을 유지하고 업데이트함으로써 강화학습에서 시간적으로 추상화된 매크로 액션을 엔드 투 엔드로 학습하는 딥 순환 신경망이다. 이는 장기적 계획이 필요한 아케이드 게임, 예를 들어 Ms. Pacman와 Frostbite에서 구조적 탐색과 효율적인 계산을 통해 성능을 향상시킨다.

ABSTRACT

We present a novel deep recurrent neural network architecture that learns to build implicit plans in an end-to-end manner by purely interacting with an environment in reinforcement learning setting. The network builds an internal plan, which is continuously updated upon observation of the next input from the environment. It can also partition this internal representation into contiguous sub- sequences by learning for how long the plan can be committed to - i.e. followed without re-planing. Combining these properties, the proposed model, dubbed STRategic Attentive Writer (STRAW) can learn high-level, temporally abstracted macro- actions of varying lengths that are solely learnt from data without any prior information. These macro-actions enable both structured exploration and economic computation. We experimentally demonstrate that STRAW delivers strong improvements on several ATARI games by employing temporally extended planning strategies (e.g. Ms. Pacman and Frostbite). It is at the same time a general algorithm that can be applied on any sequence data. To that end, we also show that when trained on text prediction task, STRAW naturally predicts frequent n-grams (instead of macro-actions), demonstrating the generality of the approach.

연구 동기 및 목표

• 사전 지식이나 수동으로 설정된 하위목표 없이 원시 환경 상호작용에서 고수준의 시간적으로 연장된 행동(매크로 액션)을 학습할 수 있는 딥 러닝 아키텍처를 개발하는 것.
• 환경 피드백에 기반해 언제 계획에 집중할지, 언제 재계획할지를 학습함으로써 강화학습에서 구조적 탐색을 가능하게 하는 것.
• 관찰 처리를 계획 실행 중 연기함으로써 계산 비용을 절감하고, 계획이 확정된 단계에서는 자원을 확보하는 것.
• 자주 나타나는 n-gram을 매크로 액션으로 학습함으로써 제어(아케이드 게임)와 시퀀스 예측(텍스트)을 포함한 다양한 시퀀스 작업으로 일반화하는 것.
• 보상 신호만을 사용하여 새로운 아키텍처를 통해 매크로 액션을 엔드 투 엔드로 학습하는 것.

제안 방법

• STRAW는 이중 모듈 순환 아키텍처를 사용한다: 특징 추출기(예: CNN)가 관측을 처리하고, 계획 모듈이 다단계 행동 계획을 생성하고 업데이트한다.
• 모델은 현재 행동 시퀀스가 재계획되기 전까지 얼마나 오랫동안 확정되어 있는지를 결정하는 확정 계획(c_t)을 유지한다.
• 특징 추출기와 계획 모듈 사이의 노이즈가 있는 통신 채널이 구조적 랜덤성을 도입하여 장기적인 시간 간격에서 탐색을 촉진한다.
• 행동 계획은 내부 상태의 관련 부분에 주의를 기울이는 주의 메커니즘을 통해 생성되며, 행동 시퀀스를 생성한다.
• 모델는 보상 신호가 희박한 환경의 신호만을 사용하여 정책 기반 강화학습 방법으로 훈련되며, 가짜 보상이나 하위목표 감독 없이 진행된다.
• 이 아키텍처는 강화학습과 지도 학습 시퀀스 예측을 모두 지원하며, 빈번한 행동 패턴으로서 매크로 액션이 자연스럽게 발생한다.

실험 결과

연구 질문

• RQ1 희박한 보상만을 사용하여 수동으로 설정된 하위목표나 가짜 보상 없이 딥 순환 신경망이 시간적으로 추상화된 매크로 액션을 엔드 투 엔드로 학습할 수 있는가?
• RQ2 행동 계획에 집중할 시점을 학습하는 것이 강화학습에서 탐색과 샘플 효율성에 어떻게 기여하는가?
• RQ3 장애물이나 위협과 같은 환경 조건에 따라 모델이 계획 수평을 동적으로 조정할 수 있는가?
• RQ4 제안된 아키텍처가 제어 작업을 넘어 다른 시퀀스 모델링 문제, 예를 들어 텍스트 예측으로 일반화될 수 있는가?
• RQ5 노이즈가 있는 통신 채널을 통한 구조적 탐색이 학습 성능과 매크로 액션 발견에 어떤 영향을 미치는가?

주요 결과

• STRAW는 Ms. Pacman와 Frostbite와 같이 장기적 계획이 필요한 아케이드 게임에서 표준 기준 모델과 심지어 일부 경우에서 LSTM 모델을 능가하는 성능 향상을 달성한다.
• Frostbite에서 STRAW는 얼음 패랭이 위로 점프하고 물고기를 수확하는 등의 의미 있는 고수준 행동에 해당하는 매크로 액션을 학습한다. 이는 계획 출력에서 시각화되었다.
• Amidar에서는 STRAW가 계획 수평을 동적으로 조정한다: 적이 가까이 다가오면 매크로 액션을 단축하고, 길이 열리면 다시 장기 계획으로 복귀함으로써 적응형 재계획을 보여준다.
• 훈련 과정에서 모델은 계획에 오랫동안 확정하는 것을 학습하며, 대부분의 게임에서 약 200 에포크 후에 확정 수준이 안정화된다. 다만 Breakout에서는 높은 정밀도 요구로 자주 재계획하는 것이 최적이라, 이 경우는 예외이다.
• 절단 실험 결과, 재계획 시점을 학습하는 것이 고정 또는 항상 재계획 전략보다 효과적이며, 고차원 노이즈 채널이 성능 향상에 기여하지만, 수익 감소 효과가 있다.
• 텍스트 예측에 훈련했을 때 STRAW는 자연스럽게 빈번한 n-gram을 매크로 액션으로 학습하며, 이는 아키텍처가 다양한 시퀀스 작업으로 일반화될 수 있음을 확인한다.