[논문 리뷰] Learning Generalizable Visual Representations via Interactive Gameplay

Luca Weihs, Aniruddha Kembhavi외 8명|arXiv (Cornell University)|2019. 12. 17.

Multimodal Machine Learning Applications참고 문헌 57인용 수 12

한 줄 요약

이 논문은 고해상도 상호작용 환경인 AI2-THOR에서 신체적 적대적 강화학습을 통해 인공 에이전트가 '은신하기' 변형인 Cache라는 게임을 통해 일반화 가능한 시각적 표현을 학습할 수 있음을 제안한다. 물체와 환경과의 상호작용을 통해 에이전트는 물체의 지속성, 자유 공간, 포함성 등을 코딩한 동적 이미지 표현을 개발한다. 이는 정적 데이터셋보다 경험 기반의 상호작용 학습이 더 풍부한 시각적 이해를 이끌 수 있음을 보여준다.

ABSTRACT

A growing body of research suggests that embodied gameplay, prevalent not just in human cultures but across a variety of animal species including turtles and ravens, is critical in developing the neural flexibility for creative problem solving, decision making, and socialization. Comparatively little is known regarding the impact of embodied gameplay upon artificial agents. While recent work has produced agents proficient in abstract games, these environments are far removed from the real world and thus these agents can provide little insight into the advantages of embodied play. Hiding games, such as hide-and-seek, played universally, provide a rich ground for studying the impact of embodied gameplay on representation learning in the context of perspective taking, secret keeping, and false belief understanding. Here we are the first to show that embodied adversarial reinforcement learning agents playing Cache, a variant of hide-and-seek, in a high fidelity, interactive, environment, learn generalizable representations of their observations encoding information such as object permanence, free space, and containment. Moving closer to biologically motivated learning strategies, our agents' representations, enhanced by intentionality and memory, are developed through interaction and play. These results serve as a model for studying how facets of vision develop through interaction, provide an experimental framework for assessing what is learned by artificial agents, and demonstrates the value of moving from large, static, datasets towards experiential, interactive, representation learning.

연구 동기 및 목표

• 신체적이고 상호작용적인 게임 플레이가 인공 에이전트의 일반화 가능한 시각적 표현 개발에 기여하는 방식을 조사하는 것.
• AI2-THOR와 같은 고해상도 상호작용 환경에서 훈련된 에이전트가 정적 데이터셋에서 훈련된 에이전트보다 더 풍부한 시각적 이해를 습득하는지 평가하는 것.
• 순환 신경망에서 유도된 동적 이미지 표현(DIRs)이 물체의 지속성 및 공간적 추론과 같은 통합된 환경 이해를 얼마나 잘 포착하는지 평가하는 것.
• 어린이 발달에 영감을 받은 探색 작업을 활용해 동적 이미지 표현을 평가하기 위한 벤치마크를 개발하는 것.
• 정적 데이터셋에서 경험 기반의 상호작용 학습으로의 전환의 가치를 입증하는 것.

제안 방법

• 에이전트는 한 에이전트가 물체를 은신시키고 다른 에이전트가 이를 찾는 사진과 유사한 3차원 환경(AI2-THOR)에서 적대적 강화학습을 통해 훈련된다.
• 에이전트는 정적 이미지 표현(SIRs)을 위한 CNN과 시간 관측을 통합하는 동적 이미지 표현(DIRs)을 위한 RNN을 갖춘 딥 네ural 네트워크를 사용한다.
• 보상 형태 조정에는 실패한 동작에 대한 벌점, 새로운 위치 탐색 또는 물체 열기 시 보너스, 숨겨진 물체의 가시성 확보에 성공했을 때 큰 양의 보상이 포함된다.
• 유아 인지 실험에 영감을 받은 일련의 探색 작업을 사용하여 DIRs를 평가하며, 은폐, 물체의 지속성, 공간적 순서화를 테스트한다.
• 환경는 물체 조작, 이동, 회전, 그리고 세 가지 모드(위에 놓기, 포함시키기, 뒤에 놓기)에서의 물체 배치를 포함한 다양한 상호작용을 지원한다.
• 행동 공간은 MoveAhead, RotateLeft, OpenAt, PlaceAt, ClaimVisible 등을 포함한 14개의 이산 동작으로 구성되며, 성공 조건은 물리적 및 시각적 제약 조건에 의해 정의된다.

실험 결과

연구 질문

• RQ1 고해상도 환경에서 상호작용 기반 게임 플레이를 통해 훈련된 인공 에이전트가 단순한 이미지 분류를 넘어서 일반화 가능한 시각적 표현을 습득할 수 있는가?
• RQ2 동적 이미지 표현(DIRs)이 물체의 지속성 및 공간적 추론과 같은 통합된 환경 이해를 얼마나 잘 포착하는가?
• RQ3 풍부하고 상호작용 가능한 환경에서의 신체적 상호작용이 정적이고 비상호작용 데이터셋에서의 학습과 비교해 표현 품질 측면에서 어떤가?
• RQ4 유아 인지 발달에 기반한 모델링된 探색 작업이 인공 에이전트의 시각적 이해 깊이를 효과적으로 평가할 수 있는가?
• RQ5 기억력과 의도성은 놀이를 통한 표현 학습을 가능하게 하는 데 어떤 역할을 하는가?

주요 결과

• Cache 환경에서 훈련된 에이전트는 물체의 지속성, 은폐, 공간적 순서화를 측정하는 探색 작업을 성공적으로 통과하는 동적 이미지 표현(DIRs)을 개발하여 깊이 있는 환경 이해를 보였다.
• 에이전트는 시야 외부에 있는 은닉된 물체의 존재를 정확히 추론함으로써 물체의 지속성 이해를 보였으며, 이는 인지 스타일의 探색 작업에서의 성능으로 측정되었다.
• DIRs가 시간적 및 공간적 관계를 더 잘 포착하여 SIRs보다 우수한 성능을 보였으며, 관측치의 순환 통합이 더 풍부한 표현 학습을 가능하게 함을 보여주었다.
• 실패한 가시성 주장에 대한 벌점과 탐색에 대한 보너스를 포함한 보상 형태 조정 전략이 학습 효율성과 표현 품질을 크게 향상시켰다.
• 어린이 인지에 영감을 받은 探색 작업을 통해 에이전트는 자유 공간과 포함성에 대해 추론할 수 있었으며, 이는 어린이의 발달 단계와 유사한 성능을 보였다.
• 정적 벤치마크를 넘어서 상호작용 기반 경험 학습을 통한 표현 학습 평가의 새로운 프레임워크를 수립했다.