[논문 리뷰] Investigating Simple Object Representations in Model-Free Deep Reinforcement Learning

Guy Davidson, Brenden M. Lake|arXiv (Cornell University)|2020. 02. 16.

Reinforcement Learning in Robotics참고 문헌 5인용 수 6

한 줄 요약

이 논문은 아케이드 게임 프로스트바이트에서 레이저, 물고기, 외계인, 빙하 등 간단하고 수작업으로 설계된 물체 표현을 레인보우 딥 강화학습 에이전트에 추가했을 때의 영향을 조사한다. 이러한 표현들이 학습 속도를 크게 향상시켜, 기존 최고 성능를 2억 번의 학습 스텝이 아닌 1,000만 번 이내에 초월하게 했으며, 새로운 시나리오로의 일반화 능력 또한 향상시켰다.

ABSTRACT

We explore the benefits of augmenting state-of-the-art model-free deep reinforcement algorithms with simple object representations. Following the Frostbite challenge posited by Lake et al. (2017), we identify object representations as a critical cognitive capacity lacking from current reinforcement learning agents. We discover that providing the Rainbow model (Hessel et al.,2018) with simple, feature-engineered object representations substantially boosts its performance on the Frostbite game from Atari 2600. We then analyze the relative contributions of the representations of different types of objects, identify environment states where these representations are most impactful, and examine how these representations aid in generalizing to novel situations.

연구 동기 및 목표

• 모델-프리 딥 강화학습에서 단순하고 수작업으로 설계된 물체 표현이 표본 효율성과 성능 향상에 기여하는지 조사하는 것.
• 인지 기반의 물체 표현을 도입하여 인간과 인공 에이전트 간의 학습 효율성 격차를 해소하는 것.
• 물체 표현이 가치 함수 학습, 상태 식별, 그리고 새로운 환경에서의 일반화에 어떻게 기여하는지 분석하는 것.
• 다양한 물체 유형(예: 물고기, 외계인, 게 등)이 정책 성능와 내구성에 미치는 상대적 영향을 평가하는 것.
• 물체 표현이 훈련 분포 외의 상황, 특히 분포를 벗어난 상황에서도 일반화를 가능하게 하는지 테스트하는 것.

제안 방법

• 레이저 DQN 에이전트의 입력 상태에 각각 다른 의미적 물체 유형(예: 물고기, 좋은 외계인, 게 등)을 나타내는 추가 채널을 도입하여, 픽셀 색상과 공간적 위치 기반으로 수작업으로 만든 마스크를 사용한다.
• 아케이드 2600 시리즈의 프로스트바이트 환경에서 수정된 레인보우 에이전트를 훈련시키며, 원본 픽셀 전용 버전과 분리된 변형 버전과의 성능을 비교한다.
• 가치 함수 분석을 통해 모델 간 상태 가치 분포를 비교하여, 물체 표현이 학습된 가치에 가장 크게 영향을 주는 위치를 특정한다.
• 개별 물체 채널을 제거하여 아블레이션 연구를 수행함으로써 각 채널이 성능 및 일반화에 기여하는 정도를 평가한다.
• 새로운 구성 요건을 도입하여 일반화 능력을 평가한다. 예를 들어, 기존 스프라이트를 스페이스 인베이더의 새로운 스프라이트로 교체하거나, 에이전트를 극단적인 분포 외 상태(예: 단일 빙하에 갇힌 상태)에 둔다.
• 표본 평균 비교를 위해 t-검정(이항 t-검정)을 적용하여 가치 함수 분포 간 유의성 있는 차이를 확인하고, 다양한 모델과 조건 간 성능 차이의 유의성을 판단한다.

실험 결과

연구 질문

• RQ1 간단하고 수작업으로 설계된 물체 표현은 프로스트바이트 환경에서 모델-프리 딥 강화학습 에이전트의 표본 효율성과 최종 성능에 어떤 영향을 미치는가?
• RQ2 어느 유형의 물체(예: 물고기, 외계인, 게 등)가 학습과 가치 함수 정확도에 가장 크게 기여하는가?
• RQ3 어느 환경 상태에서 물체 표현이 학습된 가치 함수에 가장 근본적인 영향을 미치는가?
• RQ4 물체 표현은 훈련 중에 볼 수 없었던 새로운, 분포를 벗어난 상황으로의 일반화를 어느 정도 향상시키는가?
• RQ5 물체 표현은 훈련 데이터의 시각적 특성과 다를 수 있는 새로운 물체 유형(예: 스페이스 인베이더의 외계인 스프라이트)에도 불구하고, 에이전트가 일반화할 수 있도록 도와주는가?

주요 결과

• 픽셀 + 물체 모델은 원본 레인보우 에이전트가 2억 번의 학습 스텝을 거쳐 달성한 점수를 1,000만 번의 학습 스텝 이내에 초월하여, 표본 효율성 향상이 뚜렷하게 나타났다.
• 물체 표현은 상태 가치 함수에 상당한 영향을 미쳤으며, 픽셀 대비 픽셀 + 물체 모델 간의 가치 분포에 유의미한 차이가 관찰되었고(p < 0.001), 특히 '물고기'와 '좋은 외계인' 조건에서 그렇다.
• 물체 표현을 포함한 모델은 새로운 물체 유형(예: 스페이스 인베이더의 외계인 스프라이트)에 대해 우수한 일반화 능력을 보였으며, 이는 원시 픽셀이 아닌 의미적 물체 구조에 의존하고 있음을 시사한다.
• 기존 물체와 동일한 시각적 특성을 가진 새로운 물체(예: 먹을 수 있는 물고기 vs. 위험한 게)를 도입했을 때도, 모델은 물체 마스크에 기반해 그 역할을 구분했으며, 이는 표현의 功能적 사용을 보여준다.
• 극단적인 분포 외 시나리오(예: 도움이 되는 빙하가 하나뿐인 곳에 갇힌 상태)에서는 모델의 성능이 무작위보다 약간 높을 뿐이며, 유의미한 차이가 나타난 비교는 '사망 #2'와 '탈출 경로' 조건에서만 하나뿐이었고, 이는 이러한 상황에서의 한계를 시사한다.
• 아블레이션 연구 결과, 물체 채널을 제거하면 성능 저하가 발생했으며, 특히 '물고기'와 '좋은 외계인' 채널의 영향력이 가장 커, 가치 함수 학습에서의 핵심적 역할을 확인할 수 있었다.