[논문 리뷰] Action Categorization for Computationally Improved Task Learning and Planning

Lakshmi Nair, Sonia Chernova|arXiv (Cornell University)|2018. 04. 26.

Reinforcement Learning in Robotics참고 문헌 26인용 수 3

한 줄 요약

이 논문은 행동-카테고리 표현(Action-Category Representation, ACR)을 소개한다. ACR는 인간의 인지 과정을 모방한 알고리즘에 종속되지 않는 추상적 데이터 구조로, 행동 코드를 사용하여 물체를 사전 정의된 행동 카테고리에 매핑한다. ACR는 계획 및 강화학습에서 행동 공간을 줄여 뚜렷한 계산적 성능 향상과 더 빠른 학습을 이끌어내며, 특히 제한적 또는 비완전한 시범 예제가 존재할 경우 유의미한 성과를 보인다.

ABSTRACT

This paper explores the problem of task learning and planning, contributing the Action-Category Representation (ACR) to improve computational performance of both Planning and Reinforcement Learning (RL). ACR is an algorithm-agnostic, abstract data representation that maps objects to action categories (groups of actions), inspired by the psychological concept of action codes. We validate our approach in StarCraft and Lightworld domains; our results demonstrate several benefits of ACR relating to improved computational performance of planning and RL, by reducing the action space for the agent.

연구 동기 및 목표

• 큰 행동 공간에서 계획 및 강화학습(RL)의 계산 비효율성을 해결하기 위해 인간의 인지 과정을 모방한 추상화 메커니즘을 도입한다.
• 결정 과정에서 에이전트가 고려해야 할 행동 수를 줄여 스케일링 능력과 성능을 향상시킨다.
• 학습된 물체-행동 카테고리에 의해 행동 선택을 제약함으로써 소수 또는 열등한 시범 예제로부터 효율적인 학습을 가능하게 한다.
• 상태공간 이산화를 통해 연속 영역으로의 확장이 가능한 알고리즘에 종속되지 않는 표현 방식을 개발한다.
• 기존의 방법들(예: HAT)과 ACR를 결합하여 샘플 효율성을 향상시키고 시범 예제 오류에 대한 강건성을 높인다.

제안 방법

• ACR는 물체 집합과 관련 행동으로 구성된 행동 코드—예를 들어, ((사과, 날개), (자르기, 껍질 벗기기))—를 사용하여 의미적으로 유사한 행동들을 묶는다. 이는 인간의 인지 과정을 모방한 추상화 방식이다.
• 에이전트 경험 또는 인간의 시범 예제로부터 표현을 구성함으로써 새로운 물체-행동 카테고리에 대한 온라인 학습이 가능하다.
• 계획 및 강화학습 중 행동 선택을 제한하여 현재 물체와 연관된 행동 카테고리에 속하는 행동들만 고려하도록 한다.
• PDDL 계획에서는 물체-행동 매핑에 기반해 관련이 없는 행동을 잘라내어 계획 시간을 단축시킨다.
• Q-학습에서는 행동 공간을 줄임으로써 행동 공간 축소로 인해 학습 속도와 수렴 속도가 향상되며, 특히 희소한 시범 예제가 존재할 경우 유의미한 성과를 보인다.
• HAT의 제안 행동이 ACR의 행동 카테고리와 일치하는지 검증함으로써 ACR와 HAT를 결합함으로써 초기 탐색과 정책 학습을 향상시킨다.

실험 결과

연구 질문

• RQ1 추상화된 행동 분류 메커니즘이 계획 및 강화학습의 계산 복잡도를 줄일 수 있는가?
• RQ2 단 하나 또는 열등한 시범 예제만 존재할 경우 ACR의 성능는 어떠한가?
• RQ3 기본 방법과 비교해 ACR가 학습 효율성과 계획 속도를 얼마나 향상시키는가?
• RQ4 ACR는 HAT와 같은 기존의 이mitation 학습 프레임워크와 효과적으로 통합되어 샘플 효율성을 향상시킬 수 있는가?
• RQ5 새로운 물체나 새로운 작업 맥락에 대해 새로운 시범 예제 없이 ACR가 얼마나 잘 일반화되는가?

주요 결과

• ACR는 의미적으로 관련된 행동들을 묶어 행동 공간을 줄여, 솔루션 품질을 훼손하지 않으면서도 더 빠른 계획 수립과 학습을 가능하게 한다.
• 스타크래프트 도메인에서 ACR는 물체-행동 카테고리에 기반한 행동 집합 제한으로 계획 시간을 크게 단축시켰다.
• 단 하나의 전문가 시범 예제만 존재할 경우 ACR는 기본 방법 및 HAT를 모두 초월하는 학습 성능을 보였으며, 제한된 데이터에 대한 강건성을 입증했다.
• ACR와 HAT를 결합하면 개별적으로 사용했을 때보다 더 높은 학습 성능을 달성했으며, 특히 초기 학습 단계에서 두드러진 성과를 보였다.
• ACR는 시범 예제가 열등하더라도 Q-학습에서 더 나은 수렴 성능과 더 짧은 탐색 시간을 달성했다.
• 이 방법은 뛰어난 확장성과 적응성을 보였으며, 공식적인 계산 복잡도 한계를 통해 기존 방법보다 열 劣한 성능를 보이지 않음을 보장했다.