[논문 리뷰] Learning Neural-Symbolic Descriptive Planning Models via Cube-Space Priors: The Voyage Home (to STRIPS)

Masataro Asai, Christian Muise|arXiv (Cornell University)|2020. 04. 27.

AI-based Problem Solving and Planning참고 문헌 48인용 수 15

한 줄 요약

이 논문은 뉴럴-심볼릭 프레임워크인 Cube-Space AutoEncoder (Cube-Space AE)를 제안하며, 강화학습이나 도메인 전용 보상 신호 없이도, 엔드 투 엔드로 비지도 학습 방식으로 원시 시각 입력에서 압축적이고 기술적인 STRIPS 스타일의 계획 모델을 직접 학습한다. 잠재 상태 공간에 큐브 유사 그래프 사전 지식을 도입함으로써, 심볼릭 동작 효과를 효율적으로 추출할 수 있고, 오프 더 셰프 플래너가 사용할 수 있는 PDDL 호환 모델을 생성하며, 강화학습 없이도 새로운 15-Puzzle 인스턴스에 대해 뛰어난 일반화 성능을 달성한다.

ABSTRACT

We achieved a new milestone in the difficult task of enabling agents to learn about their environment autonomously. Our neuro-symbolic architecture is trained end-to-end to produce a succinct and effective discrete state transition model from images alone. Our target representation (the Planning Domain Definition Language) is already in a form that off-the-shelf solvers can consume, and opens the door to the rich array of modern heuristic search capabilities. We demonstrate how the sophisticated innate prior we place on the learning process significantly reduces the complexity of the learned representation, and reveals a connection to the graph-theoretic notion of "cube-like graphs", thus opening the door to a deeper understanding of the ideal properties for learned symbolic representations. We show that the powerful domain-independent heuristics allow our system to solve visual 15-Puzzle instances which are beyond the reach of blind search, without resorting to the Reinforcement Learning approach that requires a huge amount of training on the domain-dependent reward information.

연구 동기 및 목표

• 구조가 풀리지 않은 시각 입력에서 수동으로 정의된 기호나 보상 신호에 의존하지 않고도 심볼릭이고 기술적인 전이 모델을 학습하는 문제에 대응하기 위해.
• STRIPS 의미 체계와 일치하는 큐브 유사 그래프 기반 기하학적 사전 지식을 도입하여 학습된 동작 모델의 복잡도를 줄이기 위해.
• 원시 이미지 데이터에서 직접 기반 PDDL 표현을 생성함으로써, 기존의 고전적 플래너와의 직접 통합을 가능하게 하기 위해.
• 강화학습 없이도 시각 계획 도메인에서 새로운 상태에 대해 강력한 제로샷 일반화 성능을 달성하기 위해, 예를 들어 15-Puzzle와 같은 도메인에서.
• 학습 데이터에 솔루션 상태가 포함되어 있지 않더라도, 도메인 독립 휴리스틱이 자동으로 확보된 심볼릭 표현에서 계획을 이끌 수 있음을 보여주기 위해.

제안 방법

• Cube-Space AutoEncoder (Cube-Space AE)는 시각 관측을 이산적이고 저차원의 잠재 공간으로 매핑하는 인코더와 디코더를 함께 훈련하여, 방향성 큐브 유사 그래프로 구성된 구조를 가지는 잠재 공간을 만든다.
• 아키텍처는 잠재 공간이 방향성 하이퍼큐브와 동형임을 보장하는 기하학적 사전 지식을 강제 적용함으로써, 동작 효과를 단순한 비트 플립 연산으로 표현할 수 있도록 한다.
• 행동 모델은 학습된 전이 역학을 기반으로 잠재 상태에서 일관된 변화를 식별함으로써 도출되며, 이는 STRIPS 스타일의 사전 조건, 추가 효과, 삭제 효과로 매핑된다.
• 백투로짓(BtL) 모듈은 직선 경로 기울기 근사를 통해 이산 잠재 변수를 통한 미분 가능 훈련을 가능하게 하여, 엔드 투 엔드 역전파를 허용한다.
• 시스템은 기존의 고전적 플래너(예: Fast Downward와 h^LMcut 휴리스틱)가 직접 소비할 수 있는 PDDL 도메인 및 문제 파일을 출력한다.
• 자동화기계는 이미지 전이 쌍에 대한 대비 학습 목표를 사용하여 훈련되며, 이는 잠재 공간이 환경의 진짜 역학을 잘 포착하도록 보장한다.

실험 결과

연구 질문

• RQ1 신경망은 인간이 정의한 기호나 보상 형상화 없이도 원시 시각 입력에서 압축적이고 기술적인 STRIPS 스타일의 동작 모델을 직접 학습할 수 있는가?
• RQ2 잠재 공간에 큐브 유사 그래프 구조를 강제 적용하면, 제약이 없는 표현에 비해 훨씬 간단하고 해석 가능한 동작 모델을 얻을 수 있는가?
• RQ3 결과적으로 도출된 심볼릭 모델은 학습 데이터에 존재하지 않은 솔루션 경로에 대해 일반화할 수 있는가, 특히 15-Puzzle와 같은 복잡한 도메인에서?
• RQ4 h^LMcut과 같은 도메인 독립 휴리스틱이 시각 관측에서 완전히 자동으로 확보된 심볼릭 표현에서 계획을 이끌 수 있는 정도는 어느 정도인가?
• RQ5 밀도 높은 보상 신호가 필요한 강화학습 기반 접근법과 비교했을 때, 제안된 방법은 샘플 효율성과 계획 성능 면에서 어떤가?

주요 결과

• 시스템은 15-Puzzle 상태의 원시 이미지에서 PDDL 모델을 성공적으로 생성하여, 오프 더 셰프 플래너가 블라인드 서치로는 도달할 수 없는 인스턴스를 해결할 수 있게 한다.
• 최적 계획에 포함된 대부분의 상태는 훈련 중에 볼 수 없었으며, 이는 새로운 상태 구성에 대해 강력한 제로샷 일반화 성능을 보여준다.
• 강화학습이나 보상 형상화 없이도, 큐브 유사 잠재 공간의 구조와 도메인 독립 휴리스틱에 의존하여 계획 성공을 달성한다.
• 큐브 유사 그래프 사전 지식은 블랙박스 신경망 모델이 겪는 기반 동작 표현의 지수적 팽창을 피할 수 있도록 매우 압축된 동작 모델을 가능하게 한다.
• 백투로짓(BtL) 모듈은 이산 잠재 변수를 통한 효과적인 엔드 투 엔드 훈련을 가능하게 하여 전체 시스템을 미분 가능하게 하고 단일 파ip라인에서 훈련할 수 있도록 한다.
• 이 프레임워크는 잠재 공간에 기하학적 사전 지식을 도입함으로써, 이해 가능하고 고전적 계획에 효과적인 심볼릭 표현을 도출할 수 있음을 보여준다.