[논문 리뷰] Constructing Abstraction Hierarchies Using a Skill-Symbol Loop

George Konidaris|PubMed|2015. 09. 25.

Reinforcement Learning in Robotics참고 문헌 7인용 수 6

한 줄 요약

이 논문은 시간적 및 상태 추상화를 갖춘 계층적 MDP를 구축하기 위해 고수준 기술과 기호적 표현을 번갈아가며 획득하는 스킬-기호 루프 프레임워크를 제안한다. 스킬과 그에 해당하는 기호적 추상화를 반복적으로 개선함으로써, 다수의 작업에 걸쳐 효율적인 계획 수립이 가능해지며, 이는 택시 도메인에서 상태 공간과 행동 시퀀스를 추상화함으로써 계획 복잡도를 감소시킴으로써 입증되었다.

ABSTRACT

We describe a framework for building abstraction hierarchies whereby an agent alternates skill- and representation-construction phases to construct a sequence of increasingly abstract Markov decision processes. Our formulation builds on recent results showing that the appropriate abstract representation of a problem is specified by the agent's skills. We describe how such a hierarchy can be used for fast planning, and illustrate the construction of an appropriate hierarchy for the Taxi domain.

연구 동기 및 목표

• 연속적이고 고차원적인 도메인에서 고수준 의사결정과 저수준 행동, 인식 간의 연결 문제를 해결하기 위해.
• 기존의 계층적 강화학습 방법이 스킬 획득에도 불구하고 원래의 저수준 상태 공간을 유지하는 한계를 극복하기 위해.
• 각 수준에서 상태 공간과 가용 행동 집합이 점점 더 추상화되는 추상화 계층을 자동으로 구성하기 위해.
• 에이전트가 가진 스킬에 의해 적절한 기호적 표현이 결정됨을 보여주어 동적 계층 형성 가능성을 확보하기 위해.
• 스킬에서 파생된 계층적 추상화를 활용해 다중 작업 강화학습에서 빠르고 확장 가능한 계획 수립을 가능하게 하기 위해.

제안 방법

• 프레임워크는 새로운 옵션(마크로행동)을 발견하는 스킬 획득 단계와 기호적 추상화를 구성하는 표현 획득 단계를 번갈아 수행한다.
• 기호적 표현은 기호를 상태 집합으로 매핑하는 기반 분류기들을 통해 정의되며, 논리 연산이 의미를 유지하도록 보존된다.
• 계층의 각 수준에서 가용 스킬에 기반해 상태 공간이 추상화되어 점차 더 추상화된 SMDP의 시퀀스를 형성한다.
• 에이전트는 목표와 상태 추상화 간의 매칭이 발견된 최상위 수준에서 계획을 수행하며, 필요에 따라 하위 수준으로 후퇴한다.
• 동적 프로그래밍은 계획 수립에, 결정 트리는 기반 분류기 평가에 사용된다.
• 계층은 반복적으로 구성된다: 먼저 스킬이 획득되고(예: 택시 도메인에서 승객 탑재/하차), 그 스킬에 기반해 기호적 상태가 형성된다.

실험 결과

연구 질문

• RQ1 어떻게 하여 각 수준에서 상태 공간과 행동 집합이 점점 더 추상화되는 추상화 계층을 자동으로 구성할 수 있는가?
• RQ2 에이전트가 가진 스킬과 계획을 위한 적절한 기호적 표현 간의 관계는 무엇인가?
• RQ3 스킬 획득과 표현 구성의 루프가 진정으로 기능하는 계층을 만들어내어 다수의 작업에 걸쳐 더 빠른 계획 수립을 가능하게 할 수 있는가?
• RQ4 어떤 상황에서 계층이 계획 수립을 향상시키지 못하는가, 그리고 그 이유는 무엇인가?
• RQ5 기호적 추상화를 어떻게 기반화할 수 있는가? 이는 의미를 유지하면서 효율적인 계획 수립을 가능하게 해야 한다.

주요 결과

• 프레임워크는 택시 도메인에서 M2(예: '승객-빨간색 도착지')와 같은 마크로행동, M1(粗모양 상태 추상화), M0(기본 행동) 수준의 세 단계 추상화 계층을 성공적으로 구성하였다.
• 예제 질의 1에서는 충분한 기호적 추상화 덕분에 M2 수준에서 계획이 성공했으며, 4개 상태로 구성된 그래프에서 단순한 계획을 달성하였다.
• 예제 질의 2에서는 택시의 위치에 대한 상태 특이성이 부족하여 M2 수준에서 계획에 실패하였고, 결과적으로 M1 수준으로 후퇴하여 계획을 수행해야 했다.
• 예제 질의 3에서는 M2 및 M1 수준에서 승객이 정류장 외부에 위치한 것을 표현할 수 있는 상태가 없어 전적으로 M0 수준에서 계획을 수행해야 했다.
• 결과는 계층이 기호적 추상화가 문제의 목표 구조와 일치할 경우에만 성능 향상을 제공함을 보여주며, 스킬 기반 표현 설계의 중요성을 강조한다.
• 프레임워크는 스킬 획득과 기호적 표현이 상호 의존적임을 입증하였다: 스킬이 적절한 추상화를 결정하며, 새로운 스킬은 새로운 표현이 필요로 한다.