[논문 리뷰] Learning Task Specifications from Demonstrations

Marcell Vazquez-Chanlatte, Susmit Jha외 3명|arXiv (Cornell University)|2017. 10. 11.

Machine Learning and Algorithms인용 수 42

한 줄 요약

이 논문은 최대사후확률(MAP) 추론 프레임워크를 제안하며, 최대 엔트로피 원리를 활용해 시범에서 부울 비마르코프 임계 조건을 학습함으로써 확률적 환경에서 안전하고 조합 가능한 작업 학습을 가능하게 한다. 이 방법은 '젖은 상태일 땐 충전하지 마라'와 같은 강건하고 논리적으로 구조화된 사양을 효율적으로 식별하며, 보상 조합 방식에 비해 강건성과 해석 가능성 면에서 뛰어나다.

ABSTRACT

Real world applications often naturally decompose into several sub-tasks. In many settings (e.g., robotics) demonstrations provide a natural way to specify the sub-tasks. However, most methods for learning from demonstrations either do not provide guarantees that the artifacts learned for the sub-tasks can be safely recombined or limit the types of composition available. Motivated by this deficit, we consider the problem of inferring Boolean non-Markovian rewards (also known as logical trace properties or specifications) from demonstrations provided by an agent operating in an uncertain, stochastic environment. Crucially, specifications admit well-defined composition rules that are typically easy to interpret. In this paper, we formulate the specification inference task as a maximum a posteriori (MAP) probability inference problem, apply the principle of maximum entropy to derive an analytic demonstration likelihood model and give an efficient approach to search for the most likely specification in a large candidate pool of specifications. In our experiments, we demonstrate how learning specifications can help avoid common problems that often arise due to ad-hoc reward composition.

연구 동기 및 목표

• 서브작업의 안전하고 체계적인 조합을 지원하는 방식으로, 시간에 따라 의존적인 복잡한 작업을 시범으로부터 학습하는 도전 과제를 해결한다.
• 일반적으로 정교한 정책, 의도하지 않은 행동, 환경 변화에 대한 일반화 능력 부족을 초래하는 스칼라 마르코프 보상의 한계를 극복한다.
• 비마르코프 제약 조건을 포괄하는 해석 가능한 논리적 사양(예: LTL 유사 공식)을 자동으로 추론할 수 있도록 한다. 예를 들어 '젖었을 경우 건조 후에만 충전하라'는 조건이다.
• 서브사양을 독립적으로 학습하고 재학습 없이도 통합 사양으로 조합할 수 있는 공식적이고 조합적인 프레임워크를 제공한다.
• 타일 제거와 같은 환경적 요란함에 대해 강건성을 확보하기 위해, 구조적 변화에도 정확성이 유지되는 사양을 학습한다.

제안 방법

• 후보 개념 클래스로 구성된 부울 비마르코프 사양에 대해 최대사후확률(MAP) 확률 문제로 사양 추론을 수립한다.
• 분포의 강건성과 최소한의 가정을 확보하기 위해 최대 엔트로피 원리를 적용하여 시범에 대한 유사도 모델을 유도한다.
• 이중 결정도형(BDD)을 통한 기호적 인코딩을 활용해, 편차 없는 동역학에 대해 사양의 정확한 만족률을 효율적으로 계산함으로써 역사에 의한 곡률 문제를 피한다.
• SAT 솔버와 하세 다이어그램을 활용해 사양 간의 부분집합 관계를 사전 계산하여 검색 공간을 단순화하고 효율적인 후보 평가를 가능하게 한다.
• 탐욕적 탐색 알고리즘을 구현하여 개념 클래스의 약 18%에 해당하는 172개의 쿼리만을 쿼리함으로써 브루트 포스 검색 대비 5.5배 빠른 성능을 달성한다.
• 역동성, 센서 관측값(색상) 및 사양을 BDD에 기호적으로 인코딩하여 정확한 만족 확률을 계산함으로써 정밀한 유사도 추정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 서브작업을 조합할 때 조합 가능성과 안전성을 보장하는 방식으로, 시범으로부터 비마르코프 작업 사양을 학습할 수 있는가?
• RQ2 해당 시범 집합이 주어졌을 때, 해석 가능성과 과적합 방지를 유지하면서 사양의 가능성 모델을 어떻게 수립할 수 있는가?
• RQ3 伝통적인 스칼라 보상 기반의 역강화학습에 비해, 사양 추론은 환경 변화에 대한 강건성을 얼마나 향상시킬 수 있는가?
• RQ4 논리적 구조와 사전 지식을 활용하여, 완전한 열거 없이도 큰 개념 클래스에서 효율적으로 사양을 탐색할 수 있는가?
• RQ5 정책 최적화 과정에서 뜻하지 않은 행동을 방지하는 데 있어, 형식적 사양이 스칼라 보상 함수에 비해 어떤가?

주요 결과

• 제안된 방법은 '젖은 상태일 때 충전하지 마라' 조건을 포괄하는 정확한 사양 $ H((\text{yellow} \land P~{}\text{blue}) \implies (\neg\text{blue}~{}S~{}\text{brown})) $ 를 시범으로부터 성공적으로 추론하였다.
• 알고리즘은 개념 클래스의 약 18%에 해당하는 172개의 쿼리만을 소비하여 브루트 포스 검색 대비 5.5배 빠른 성능을 달성하였다.
• 유추된 사양은 강건성이 확보되어 있었으며, 환경이 변화하더라도(예: 충전 타일 제거) 정확성이 유지되었다. 반면 스칼라 보상 함수는 이러한 변화에서 실패하였다.
• 서브사양의 간단한 조합—예를 들어 '용암 피하기'와 '충전 전에 마르기'—이 통합 사양으로 쉽게 조합되었고, 이는 두 제약 조건을 동시에 만족시켰다.
• 기호적 BDD 기반의 만족률 계산은 역사 의존성에도 불구하고 지수적 팽창 없이 정확한 유사도 추정을 가능하게 하여, 이론적 확장성 확보에 기여하였다.
• 형식적이고 논리적인 사양이 복잡하고 시간적으로 의존적인 작업에서 스칼라 보상보다 더 해석 가능하고 안전하다는 점이 입증되었다.