[논문 리뷰] Active Exploration for Learning Symbolic Representations

Garrett Andersen, George Konidaris|PubMed|2017. 09. 05.

Artificial Intelligence in Games참고 문헌 21인용 수 9

한 줄 요약

이 논문은 복잡한 환경에서 계획을 위한 상징적 표현 학습에서 데이터 효율성을 향상시키기 위해 이원적 활성 탐색 알고리즘을 제안한다. 신속한 베이지안 상징적 모델 추론과 불확실성에 초점을 맞춘 몬테카를로 트리 탐색(MCTS)을 결합함으로써, 랜덤 또는 탐욕적 탐색보다 훨씬 더 나은 상징적 전이의 커버리지 성과를 보였다. 이는 아스테로이드 유사 게임과 보물 게임 모두에서 확인되었다.

ABSTRACT

We introduce an online active exploration algorithm for data-efficiently learning an abstract symbolic model of an environment. Our algorithm is divided into two parts: the first part quickly generates an intermediate Bayesian symbolic model from the data that the agent has collected so far, which the agent can then use along with the second part to guide its future exploration towards regions of the state space that the model is uncertain about. We show that our algorithm outperforms random and greedy exploration policies on two different computer game domains. The first domain is an Asteroids-inspired game with complex dynamics but basic logical structure. The second is the Treasure Game, with simpler dynamics but more complex logical structure.

연구 동기 및 목표

• 연속적이고 고차원적인 환경에서 원시 감각 데이터로부터 고수준 상징적 모델을 학습할 때 발생하는 데이터 비효율성 문제를 해결하기 위해.
• 이전에 수집된 데이터를 활용하여 향후 탐색을 상태 공간의 불확실한 영역으로 이끌어내는 온라인 활성 탐색 전략을 개발하기 위해.
• 수동으로 설계된 추상화 없이도 에이전트가 옵션 효과(예: 성공 확률 등)의 상징적 표현을 자율적으로 학습할 수 있도록 하기 위해.
• 유익한 데이터 확보를 가속화함으로써 상징적 모델 학습을 위한 정보성 데이터 확보를 가속화함으로써 계획 효율성을 향상시키기 위해.
• 활성 탐색이 랜덤 및 탐욕적 탐색보다 데이터 효율성과 모델 커버리지 측면에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• 알고리즘은 먼저 수집된 데이터를 기반으로 확률적 기호 표현을 사용하여 연속 상태의 분포를 압축적으로 표현하는 중간 단계의 베이지안 상징적 모델을 구축한다.
• 두 번째 구성 요소는 정보량을 최대화하는 동작을 선택하기 위해 몬테카를로 트리 탐색(MCTS)을 사용하며, 현재 상징적 모델이 높은 불확실성을 보이는 상태 영역으로 탐색을 집중시킨다.
• 에이전트는 옵션 실행을 통해 데이터를 수집하며, 상태 전이, 보상, 종료 조건을 관찰하여 상징적 모델을 반복적으로 개선한다.
• 상징적 모델은 위치, 물체 상태, 기호 조건(예: '잠김', '열쇠 보유')와 같은 핵심 환경 요소를 포괄하여 고수준 계획을 가능하게 한다.
• 이 방법은 옵션의 시작 집합, 정책, 종료 조건을 모델링하는 준-마르코프 결정 과정(SMDP) 프레임워크 내에서 작동한다.
• 탐색은 상징적 모델의 불확실성에 의해 이끌리며, MCTS는 정보량을 극대화하기 위해 탐색과 이용의 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 상징적 모델의 불확실성에 기반한 활성 탐색이 추상 표현 학습을 더 빠르고 데이터 효율적으로 이끌 수 있는가?
• RQ2 복잡한 역학 또는 논리적 요소를 가진 환경에서, 활성 탐색은 랜덤 및 탐욕적 탐색과 비교해 상징적 전이 커버리지 측면에서 어떻게 다른가?
• RQ3 수집된 데이터로부터 베이지안 상징적 모델을 얼마나 빨리 업데이트할 수 있으며, 효과적인 탐색을 이끌 수 있는가?
• RQ4 복잡한 역학성 환경 대비 복잡한 논리성 환경에서 활성 탐색이 데이터 효율성 향상에 가장 큰 기여를 하는가?
• RQ5 활성 탐색을 통해 학습된 상징적 표현은 행동 시퀀스의 성공 확률을 정확하게 모델링하여 신뢰할 수 있는 계획을 지원할 수 있는가?

주요 결과

• 아스테로이드 도메인에서 제안된 알고리즘은 랜덤 또는 탐욕적 정책보다 약 2~3배 적은 옵션 실행 수로 115개의 가능한 모든 상징적 전이를 관찰했다.
• 보물 게임에서는 랜덤 또는 탐욕적 정책보다 훨씬 적은 실행 횟수로 240개의 모든 상징적 전이를 관찰했으며, 더 효율적으로 완전한 커버리지에 도달했다.
• 활성 탐색을 사용한 에이전트는 200회 옵션 실행 후 100%의 확률로 보물을 확보했지만, 랜덤 및 탐욕적 정책은 많은 시행에서 실패했다.
• 알고리즘은 랜덤 및 탐욕적 정책 대비 품질이 낮은 상태(예: 열쇠 없이 锁가 여전히 잠긴 상태)에 머무는 시간을 50% 이상 감소시켰다.
• 히트맵 시각화 결과 활성 탐색 전략이 랜덤 또는 탐욕적 탐색보다 더 균일하고 정보성 있는 상태 공간 커버리지 결과를 보였다.
• 베이지안 상징적 모델은 데이터로부터 신속하게 업데이트되었으며, 이는 효과적인 불확실성 기반 탐색을 가능하게 하고, 두 도메인 모두에서 데이터 효율성을 크게 향상시켰다.