[논문 리뷰] Learning General Policies from Small Examples Without Supervision

Guillem Francès, Blai Bonet외 1명|arXiv (Cornell University)|2021. 01. 03.

AI-based Problem Solving and Planning참고 문헌 34인용 수 10

한 줄 요약

이 논문은 샘플 계획이나 QNP 추상화를 요구하지 않고, 소규모로 레이블이 지정되지 않은 계획 예제들로부터 일반적이고 비결정적인 계획 정책을 자기지도 학습 방식으로 학습하는 방법을 제안한다. 문제를 가중치가 부여된 최대 만족도(Weighted Max-SAT) 최적화 문제로 공식화하여, 좋은 전이와 목표를 구분하는 최소한의 특징 집합과 분리 표면을 동시에 학습하며, 이는 이전 방법들보다 훨씬 작은 문장 이론을 사용하여 여러 벤치마크 도메인에서 정확한 정책을 달성한다.

ABSTRACT

Generalized planning is concerned with the computation of general policies that solve multiple instances of a planning domain all at once. It has been recently shown that these policies can be computed in two steps: first, a suitable abstraction in the form of a qualitative numerical planning problem (QNP) is learned from sample plans, then the general policies are obtained from the learned QNP using a planner. In this work, we introduce an alternative approach for computing more expressive general policies which does not require sample plans or a QNP planner. The new formulation is very simple and can be cast in terms that are more standard in machine learning: a large but finite pool of features is defined from the predicates in the planning examples using a general grammar, and a small subset of features is sought for separating "good" from "bad" state transitions, and goals from non-goals. The problems of finding such a "separating surface" while labeling the transitions as "good" or "bad" are jointly addressed as a single combinatorial optimization problem expressed as a Weighted Max-SAT problem. The advantage of looking for the simplest policy in the given feature space that solves the given examples, possibly non-optimally, is that many domains have no general, compact policies that are optimal. The approach yields general policies for a number of benchmark domains.

연구 동기 및 목표

• 샘플 계획이나 QNP 추상화에 의존하지 않고 소규모 계획 예제들로부터 일반 정책을 학습하는 방법을 개발하는 것.
• 좋은 전이와 목표를 분리할 수 있는 최소한이면서도 표현력 있는 특징 집합을 식별하여 계획에서의 일반화 문제를 해결하는 것.
• 기존의 QNP 기반 및 선형가치함수 접근 방식에 비해 확장성과 표현력을 향상시키는 것.
• 완전하고 효율적인 조합 최적화 프레임워크를 통해 정확하고 비결정적인 정책의 합성을 가능하게 하는 것.

제안 방법

• 일반적인 문법이 계획 예제의 도메인 술어로부터 큰 유한한 특징 풀을 생성한다.
• 특징 선택과 전이 레이블링의 병합 문제를 가중치가 부여된 최대 만족도 문제로 공식화하여 최소한의 분리 표면을 찾는다.
• 좋은 전이와 나쁜 전이, 목표와 비목표가 동시에 Max-SAT 프레임워크 내에서 레이블링된다.
• 해결된 예제들을 해결할 수 있는 특징 공간에서 가장 단순한 정책이 해가 되며, 이는 일반화를 촉진한다.
• 특징 풀의 크기를 줄이기 위해 대칭을 고려한 추상화와 점진적인 제약 조건 생성을 사용한다.
• 최종 정책는 Max-SAT 해에서 추출되며, 미리 보지 못한 인스턴스에서 검증된다.

실험 결과

연구 질문

• RQ1 샘플 계획이나 QNP 추상화 없이도 소규모로 레이블이 지정되지 않은 계획 예제들로부터 일반 정책를 학습할 수 있는가?
• RQ2 좋은 전이와 목표를 분리할 수 있는 최소한이면서도 표현력 있는 특징 집합을 자동으로 발견할 수 있는가?
• RQ3 가중치가 부여된 최대 만족도를 통한 특징 선택과 레이블링의 동시 최적화가 확장 가능하고 일반화 가능한 정책를 도출하는가?
• RQ4 제안된 방법은 QNP 기반 및 선형가치함수 접근 방식에 비해 확장성과 표현력 면에서 어떻게 비교되는가?

주요 결과

• 이 방법은 블록스월드 도메인에서 10~30개의 블록을 가진 100개의 테스트 인스턴스에 대해 단 한 개의 학습 인스턴스만을 사용하여 정확한 일반 정책을 성공적으로 생성하였다.
• 기존의 QNP 기반 접근 방식에 비해 문장 이론 크기가 최대 한 단계 감소하였으며, 98.9K에서 281.5K개의 절에 해당하며 이전 연구의 1.2M에서 3.3M에 비해 감소하였다.
• 사전에 정의된 훈련 인스턴스의 선택을 신중히 함으로써 데드엔드와 비동형 상태 공간을 가진 도메인, 예를 들어 Miconic과 Gripper에 대해서도 확장 가능하다.
• 이전의 비지도 접근 방식에 비해 효율성이 뛰어나, Gripper와 같은 도메인을 수 시간이 아닌 수 분 내에 해결하였다.
• 블록스월드에 대해 학습된 정책는 증명 가능하게 정확하며, 네 가지 특징(c>0, t′>0, bwp>0, c↑)을 기반으로 하는 단일 규칙와 네 가지 영향을 포함한다.
• 이 방법은 완전하다: 특징 풀 내에서 일반 정책가 존재한다면 Max-SAT 솔버는 이를 반드시 찾을 수 있다.