[논문 리뷰] Modularization of End-to-End Learning: Case Study in Arcade Games

Andrew Melnik, Sascha Fleer외 2명|arXiv (Cornell University)|2019. 01. 27.

Artificial Intelligence in Games참고 문헌 16인용 수 5

한 줄 요약

이 논문은 아케이드 게임에서 제어 가능한 객체와 제어 불가능한 객체로 환경을 분해하고, 궤적 예측, 충돌 감지, 목표 지향적 제어를 위한 전문화된 기능 모듈을 사용하는 모듈식 엔드 투 엔드 학습 프레임워크를 제안한다. 교차 학습, 강화 학습, 후행 경험 재생을 활용함으로써, 이 프레임워크는 게임 시간 기준 10~15분 이내에 인간 수준의 성능을 달성한다—표준 엔드 투 엔드 방법이 수백만 단계가 필요한 것과는 대비된다.

ABSTRACT

Complex environments and tasks pose a difficult problem for holistic end-to-end learning approaches. Decomposition of an environment into interacting controllable and non-controllable objects allows supervised learning for non-controllable objects and universal value function approximator learning for controllable objects. Such decomposition should lead to a shorter learning time and better generalisation capability. Here, we consider arcade-game environments as sets of interacting objects (controllable, non-controllable) and propose a set of functional modules that are specialized on mastering different types of interactions in a broad range of environments. The modules utilize regression, supervised learning, and reinforcement learning algorithms. Results of this case study in different Atari games suggest that human-level performance can be achieved by a learning agent within a human amount of game experience (10-15 minutes game time) when a proper decomposition of an environment or a task is provided. However, automatization of such decomposition remains a challenging problem. This case study shows how a model of a causal structure underlying an environment or a task can benefit learning time and generalization capability of the agent, and argues in favor of exploiting modular structure in contrast to using pure end-to-end learning approaches.

연구 동기 및 목표

• 복잡한 환경에서 순수 엔드 투 엔드 강화 학습의 긴 학습 시간과 열악한 일반화 성능를 해결한다.
• 환경을 제어 가능한 객체와 제어 불가능한 객체로 분해하는 것이 학습 속도를 가속화하고 성능을 향상시킬 수 있는지 조사한다.
• 다양한 아케이드 게임에서 공통되는 상호작용 원리(예: 궤적 예측, 충돌 감지 등)를 위한 재사용 가능한 기능 모듈 세트를 개발한다.
• 환경의 인과적 구조를 모델링하는 것이 샘플 복잡도를 크게 감소시키고 일반화 성능을 향상시킬 수 있는지 확인한다.
• 원시 정책 학습에서 구조적이고 모듈식 상호작용 원리로 학습 부담을 이행하는 것이 가능한지 탐색한다.

제안 방법

• 아케이드 게임을 형태, 유형, 위치, 속도, 상호작용 영역 등을 추적하는 객체 기반 상태 표현으로 표현한다.
• 두 개의 스트림을 가진 신경망(ReLU 활성화 함수 사용)과 n단계의 재귀적 롤아웃을 활용해 향후 궤적을 예측하는 제어 불가능한 객체 모듈을 구현한다.
• 예측된 궤적과 다른 객체 간에 겹치는 픽셀이 있는지 감지하는 충돌 센서 모듈을 통합한다(충돌 여부는 0 또는 1로 표현).
• 궤적 교차점을 기반으로 목표 위치를 계산하고, 후행 경험 재생을 통해 통합된 가치 함수 정책을 적용하는 제어 가능한 객체 모듈을 사용한다.
• 행동 시퀀스와 보상 이벤트에 대한 지도 학습 회귀를 통해 제어 가능한 객체 모듈을 학습시키며, 역동성을 모델링하기 위해 이전 k개의 행동을 통합한다.
• 프레임 스킵(2)을 적용하고, 수작업 필터(색상, 프레임 간 차이, 형태 매칭)를 통해 픽셀 기반 입력을 객체 특징으로 변환하여 학습한다.

실험 결과

연구 질문

• RQ1 아케이드 게임을 제어 가능한 객체와 제어 불가능한 객체로 모듈식 분해하면 강화 학습에서 샘플 복잡도를 줄일 수 있는가?
• RQ2 궤적 예측, 충돌 감지 등과 같은 일반적인 상호작용 원리 기능 모듈이 다양한 아케이드 게임 간에 얼마나 일반화되는가?
• RQ3 객체 기반 모듈을 통해 환경의 인과적 구조를 모델링하면 엔드 투 엔드 접근 방식과 비교해 학습 속도와 일반화 성능가 향상되는가?
• RQ4 표준 엔드 투 엔드 DQN과 비교해 모듈식 프레임워크의 성능은 인간 수준 성능에 도달하는 데 필요한 단계 수로 어떻게 다를까?
• RQ5 다양한 아케이드 게임에서 인간 수준의 제어를 달성하기 위해 필요한 최소 기능 모듈 수는 얼마인가?

주요 결과

• 모듈식 프레임워크는 환경 단계 수 25,000회 이내(프레임 스킵 = 2)에 인간 수준의 성능을 달성한다—실제 인간 플레이 시간 기준 약 10~15분에 해당한다.
• 이 성능는 표준 엔드 투 엔드 DQN 접근 방식이 유사한 결과를 얻기 위해 약 2,500만 단계가 필요로 하는 것과 비교해 약 1,000분의 1 수준의 단계 수로 달성된다.
• 패드 오프셋 변화나 중간 벽 변경과 같은 미세한 환경 변화에 대해서도 강력한 일반화 성능를 보여준다.
• 제어 가능한 객체 모듈에 후행 경험 재생을 적용함으로써 정책 수렴에 필요한 경험 샘플 수가 감소한다.
• 제어 불가능한 객체 모듈은 과거 운동 데이터에 기반한 지도 학습을 통해 궤적 예측과 충돌 감지에 성공적으로 활용된다.
• 브레이크아웃, 핑퐁, 비디오 핀볼에서의 프레임워크 성능는 인과적 구조 모델링이 통합된 모듈식 분해 방식이 통합 엔드 투 엔드 학습보다 더 빠르고 효율적인 학습을 가능하게 한다는 것을 확인한다.