[논문 리뷰] Rotation, Translation, and Cropping for Zero-Shot Generalization

Chang Ye, Ahmed Khalifa외 2명|arXiv (Cornell University)|2020. 01. 27.

Reinforcement Learning in Robotics참고 문헌 25인용 수 10

한 줄 요약

이 논문은 2D 아케이드 게임에서 훈련된 딥 강화학습 에이전트의 제로샷 일반화 능력을 크게 향상시키기 위해 시각적 관측값에 대해 회전, 이동, 자르기 변환을 적용할 것을 제안한다. 이러한 변환을 통해 에이전트 중심의 전방 주시 시각을 구현함으로써, 최소한의 훈련 데이터로도 미리보지 않은 프로시저럴리 생성된 레벨에서 최대 90%의 성공률을 달성하며, 기존의 고정된 시각 접근 방식을 능가한다.

ABSTRACT

Deep Reinforcement Learning (DRL) has shown impressive performance on domains with visual inputs, in particular various games. However, the agent is usually trained on a fixed environment, e.g. a fixed number of levels. A growing mass of evidence suggests that these trained models fail to generalize to even slight variations of the environments they were trained on. This paper advances the hypothesis that the lack of generalization is partly due to the input representation, and explores how rotation, cropping and translation could increase generality. We show that a cropped, translated and rotated observation can get better generalization on unseen levels of two-dimensional arcade games from the GVGAI framework. The generality of the agents is evaluated on both human-designed and procedurally generated levels.

연구 동기 및 목표

• 회전, 이동, 자르기와 같은 인지적 변환 기법이 딥 강화학습 에이전트의 제로샷 일반화 능력에 기여하는지 조사하는 것.
• 고정된 정적 제3인칭 시점이 비디오 게임의 DRL에서 일반화 능력을 저해한다는 가정을 도전하는 것.
• 이러한 변환 기법이 인간이 설계한 레벨과 프로시저럴리 생성된 레벨 양쪽 모두에 대해 효과적인지 평가하는 것.
• 입력 표현 방식이 강건하고 일반화 가능한 정책을 가능하게 하는 데 핵심적인 역할을 한다는 것을 입증하는 것.
• 강화학습에서 관측 공간 설계에 있어 데이터 증강 기반의 실용적 설계 원칙을 체계화하는 것.

제안 방법

• 저자는 훈련 중에 DRL 에이전트의 시각 입력에 데이터 증강 기법—회전, 이동, 자르기—를 적용한다.
• 관측 공간을 수정하여 항상 전방을 향한 제1인칭, 에이전트 중심의 시각을 시뮬레이션한다.
• 에이전트들은 GVGAI 프레임워크의 다섯 개 레벨의 소량 데이터로 A2C 알고리즘을 사용하여 훈련된다.
• 제로샷 일반화 능력을 평가하기 위해 인간이 설계한 레벨과 프로시저럴리 생성된 테스트 레벨 양쪽에서 성능을 측정한다.
• 아키텍처 변경을 피하고 입력 변환에만 집중함으로써 일반화에 미치는 영향을 고립적으로 분석한다.
• 전이 가능성 평가를 위해 줄리아, 솔라포크, 볼더러던 등 여러 게임에서 이 방법을 평가한다.

실험 결과

연구 질문

• RQ1 회전, 이동, 자르기 변환을 통해 입력 관측값을 변형하면 DRL 에이전트의 제로샷 일반화 능력이 향상되는가?
• RQ2 간단한 인지적 변환 기법이 표준 고정 제3인칭 시점보다 훨씬 뛰어난 일반화 능력을 제공할 수 있는가?
• RQ3 다양한 수준의 전반적 상태 의존성(전반적 상태 의존성)을 가진 게임에서 이러한 변환의 성능는 어떻게 달라지는가?
• RQ4 이러한 기법이 제한된 훈련 데이터로 훈련된 정책의 취약성(브릿틀니스)을 어느 정도 감소시키는가?
• RQ5 이러한 입력 수준의 수정이 아키텍처나 알고리즘 혁신보다 실용적이고 저비용의 일반화 향상 방법으로 기능할 수 있는가?

주요 결과

• 회전, 이동, 자르기 변환을 적용해 훈련한 에이전트는 다섯 개 레벨의 훈련 데이터만으로도 미리보지 않은 프로시저럴리 생성된 레벨에서 최대 90%의 성공률을 기록했다.
• 이 방법은 특히 높은 확률적 특성을 가진 환경에서 표준 고정 제3인칭 관측 설정보다 뚜렷이 뛰어난 성능을 보였다.
• 제로와 솔라포크와 같은 게임에서 성능 향상이 가장 두드러졌는데, 이는 국소적 객체 상호작용이 게임플레이는 지배적이기 때문이다.
• 전반적 인지 정보를 필요로 하는 게임, 예를 들어 적의 능력이 시간이 지남에 따라 강화되는 게임에서는 자르기로 인해 성능 저하가 발생했다.
• 정면 방향이 명확하지 않은 게임에서는 회전 기법이 효과적이지 않았는데, 이는 에이전트의 방향성 의미 체계에 의존하기 때문이다.
• 신경망이 종종 불필요한 세부 정보(예: 스코어보드)에 집중하는 경향이 있어, 주요 특징에 집중할 수 있도록 주의 메커니즘 또는 선택적 필터링 기법이 필요하다는 점을 시사한다.