[논문 리뷰] Open the Chests: An Environment for Activity Recognition and Sequential Decision Problems Using Temporal Logic

Benjamin Beyret, José Hernández‐Orallo외 4명|arXiv (Cornell University)|2019. 09. 12.

Reinforcement Learning in Robotics참고 문헌 27인용 수 35

한 줄 요약

이 논문은 물리 기반의 오픈소스 플랫폼인 Animal-AI 환경을 소개한다. 이 플랫폼은 물체 지속성, 인과적 추론, 공간적 추론 등의 동물 유사 인지 능력을 평가하기 위해 설계되었으며, 비교 심리학에서 영감을 얻어 시간적 논리와 물리 시뮬레이션에 기반한 구조화된 과제를 사용하여 일반화 능력과 이해 능력을 테스트한다. 이는 10개의 인지 카테고리에서 최신 기준 성능을 약 40%로 달성한다.

ABSTRACT

Recent advances in artificial intelligence have been strongly driven by the use of game environments for training and evaluating agents. Games are often accessible and versatile, with well-defined state-transitions and goals allowing for intensive training and experimentation. However, agents trained in a particular environment are usually tested on the same or slightly varied distributions, and solutions do not necessarily imply any understanding. If we want AI systems that can model and understand their environment, we need environments that explicitly test for this. Inspired by the extensive literature on animal cognition, we present an environment that keeps all the positive elements of standard gaming environments, but is explicitly designed for the testing of animal-like artificial cognition.

연구 동기 및 목표

• AI 분야에서 능력 중심의 벤치마크가 부족한 점을 보완하기 위해, 과제 특화 성능이 아닌 일반화 능력과 이해 능력을 평가하는 테스트베드를 구축한다.
• AI 평가와 동물 인지 연구 간 격차를 해소하기 위해 비교 심리학에서 정립된 실험 프로토콜을 응용한다.
• 패턴 인식이 아닌 인지적 추론, 물리적 이해, 장기 기억 능력을 중시하는 훈련 및 테스트 환경을 설계한다.
• 통합적이고 모듈러한 프레임워크를 사용해 다양한 인지 기술을 평가할 수 있는 확장 가능한 오픈 플랫폼을 제공한다.
• AI 및 비교 인지 과학 공동체 간 협력을 촉진하기 위해 인지 능력을 분리 가능한 방식으로 가능하게 한다.

제안 방법

• 환경는 결정론적 상태 전이 함수를 갖는 물리 시뮬레이터 엔진에 기반하여 재현 가능하고 복잡한 상호작용을 가능하게 한다.
• 보상(식량), 블록, 장애물 등 총 7종의 물체 클래스를 포함하여 다양한 인지 과제를 구성할 수 있다.
• 과제는 물체 지속성, 인과적 추론 등 10개의 인지 카테고리로 분류되며, 각 카테고리는 별개의 인지 능력을 테스트한다.
• 각 과제는 동물이 해결할 수 있지만 현재 AI에겐 도전적인 방식으로 설계되었으며, 목표 조건을 정의하기 위해 시간적 논리를 사용한다.
• 재훈련 없이도 새로운 과제 변형에 대해 제로샷 일반화를 지원하여, 에이전트가 훈련된 바 없는 상황에서도 성능을 평가할 수 있다.
• Animal-AI 올림피아드 경연 대회는 이 테스트베드를 활용해 10개 카테고리 전반에서 에이전트의 성능을 평가하며, 단일 점수를 넘어서 성능 프로파일을 생성한다.

실험 결과

연구 질문

• RQ1 물리적 직관, 물체 지속성, 인과적 추론이 요구되는 과제에서 AI 에이전트가 동물 인지에서 관찰되는 수준의 성능을 달성할 수 있는가?
• RQ2 재훈련 없이도 서로 다른 비동일한 인지 과제 간에 단일 에이전트가 얼마나 잘 일반화할 수 있는가?
• RQ3 현재의 딥 강화 학습 방법은 과제 중심의 벤치마크 대비 능력 중심의 벤치마크에서 어떻게 성능을 내는가?
• RQ4 구조화되고 심리학에서 영감을 얻은 과제들은 현재 AI의 일반화 및 추론 능력에 대한 근본적 한계를 드러낼 수 있는가?
• RQ5 다양한 카테고리로 구성된 모듈러한 다중 기준 벤치마크를 통해 어떻게 에이전트의 인지 프로파일링을 달성할 수 있는가?

주요 결과

• 현재 최신 기준 AI 성능은 Animal-AI 테스트베드에서 약 40%로, 인지 일반화 능력 향상 여지가 크다는 것을 시사한다.
• 내비게이션 기반 및 보상 선택 과제는 해결이 비교적 용이하여 일부 사례에서 성능이 약 80%에 가까이 진전되며, 기존 강화 학습의 강점과 일치한다.
• 내부 세계 모델링, 물체 지속성, 인과적 추론이 요구되는 과제는 훨씬 더 어려우며, 가장 복잡한 변형에서는 성능가 30% 이하에 머문다.
• 상위 경쟁자들의 레이더도화상에서는 카테고리 간 명확한 성능 격차가 드러나며, 선호도 및 장애물 과제에서는 뛰어난 성능를 보이지만, 내부 모델링 및 인과적 추론 과제에선 낮은 성능를 보인다.
• 이 플랫폼은 표준 DRL 벤치마크에서 훈련된 에이전트가 장기 기억 또는 물리적 추론이 요구되는 과제로의 일반화에 실패한다는 점을 성공적으로 규명했다.
• 결과적으로 현재 AI 시스템은 환경에 대한 견고한 내부 모델을 갖추지 못하고 있으며, 보이지 않는 상태나 숨겨진 상태에 대한 추론을 어려워하며, 이는 동물 인지에서 알려진 한계와 유사하다.