[논문 리뷰] Action Schema Networks: Generalised Policies with Deep Learning

Sam Toyer, Felipe Trevizan외 2명|arXiv (Cornell University)|2017. 09. 13.

AI-based Problem Solving and Planning인용 수 27

한 줄 요약

이 논문은 행동 스키마 네트워크(ASNet)를 소개한다. ASNet은 행동과 명제 간의 관계적 구조와 행동 간 및 명제 간의 가중치 공유를 활용하여 확률적 계획 문제에 대한 일반화된 정책을 학습하는 딥러닝 아키텍처이다. 이는 동일 도메인 내 문제 간 전이 학습을 가능하게 하며, 탐색과 지도 학습을 균형 잡은 하이브리드 학습 방식을 통해 어려운 도메인에서 기존 계획기보다 뛰어난 성능을 발휘한다.

ABSTRACT

In this paper, we introduce the Action Schema Network (ASNet): a neural network architecture for learning generalised policies for probabilistic planning problems. By mimicking the relational structure of planning problems, ASNets are able to adopt a weight-sharing scheme which allows the network to be applied to any problem from a given planning domain. This allows the cost of training the network to be amortised over all problems in that domain. Further, we propose a training method which balances exploration and supervised training on small problems to produce a policy which remains robust when evaluated on larger problems. In experiments, we show that ASNet's learning capability allows it to significantly outperform traditional non-learning planners in several challenging domains.

연구 동기 및 목표

• 재학습 없이 동일 계획 도메인 내 다양한 문제에 일반화되는 신경망 아키텍처를 개발하는 것.
• 동일한 스키마 또는 술어를 공유하는 행동과 명제 간의 가중치 공유를 가능하게 하여 파rameter 효율성과 전이 가능성 향상.
• 기존 계획기에서의 해결책을 활용한 탐색과 지도 학습을 융합한 학습 방법을 설계하여 더 큰 문제에 대해 강력한 정책을 생성하는 것.
• 딥러닝이 확률적 계획에 대해 효과적으로 일반화된 정책을 학습할 수 있음을 입증하고, 비학습 기반 계획기보다 뛰어난 성능을 내는 것.
• 수동적인 시각적 인코딩이 필요 없이 PPDDL 표현에서 직접 작동하는 프레임워크를 제공하는 것.

제안 방법

• ASNet은 행동과 명제의 관계적 구조를 기반으로 하는 그래프 기반 신경망으로, 간선은 원인 또는 의존 관계(예: 행동이 명제에 영향을 미침)를 나타낸다.
• 컨볼루션과 유사한 메시지 전달 메커니즘을 사용하며, 각 행동 또는 명제 모듈이 다중 레이어에 걸쳐 이웃의 정보를 집계함으로써 수신 영역이 증가한다.
• 동일한 행동 스키마나 명제 술어의 모든 인스턴스에 대해 가중치 공유를 강제함으로써 동일 도메인 내 다양한 문제 인스턴스 간 일반화를 가능하게 한다.
• 입력 특징에는 도메인 독립적 계획 히우리스틱(예: fast-downward에서 유도)이 포함되어 학습을 안내하고 더 큰 문제에서의 성능 향상에 기여한다.
• 하이브리드 학습 전략은 강화 학습(탐색)과 소형 문제에서 기존 계획기의 해결책을 활용한 지도 학습 미세조정을 번갈아 수행한다.
• 아키텍처는 상태에서 행동 확률을 예측하도록 학습되며, 엔드 투 엔드 학습을 지원하는 미분 가능한 손실 함수를 사용한다.

실험 결과

연구 질문

• RQ1 동일 계획 도메인 내 다양한 문제 인스턴스에 일반화되는 딥 뉴럴 네트워크 아키텍처를 설계할 수 있는가?
• RQ2 행동 및 명제 모듈 간의 가중치 공유를 효과적으로 구현하여 계획에서 전이 학습을 가능하게 할 수 있는가?
• RQ3 탐색과 지도 학습을 융합한 하이브리드 학습 제도가 더 큰, 미리 보지 않은 문제에 대해 강력한 정책을 생성할 수 있는가?
• RQ4 ASNet은 복잡한 확률적 계획 도메인에서 기존 비학습 기반 계획기보다 어느 정도 뛰어난 성능을 낼 수 있는가?
• RQ5 수동적인 시각적 인코딩이 필요 없이 PPDDL 표현에서 직접 효과적인 정책을 학습할 수 있는가?

주요 결과

• ASNet은 재학습 없이도 주어진 계획 도메인 내 어떤 문제에도 적용 가능한 일반화된 정책을 성공적으로 학습하여 비학습 기반 계획기보다 뚜렷한 성능 향상을 이룬다.
• 탐색과 지도 학습 미세조정을 균형 잡은 하이브리드 학습 방법은 더 큰 문제에서 평가했을 때도 정책이 강력하고 효과적으로 유지됨을 보여준다.
• ASNet은 여러 어려운 도메인에서 최신의 고전적 및 확률적 계획기보다 뛰어난 성능을 보이며, 계획에서 딥러닝의 효과성을 입증한다.
• 도메인 독립적 히우리스틱을 입력 특징으로 통합함으로써 복잡한 문제에서의 일반화 및 성능 향상이 크게 향상된다.
• 관계적 인덕티브 바이어스와 가중치 공유 메커니즘 덕분에 다양한 크기와 구조를 가진 문제 간에 일반화가 가능하다.
• 목표에 확률 1로 도달할 수 없는 경우에도 모델은 사전에 정의된 비용 페널티와 정책 학습을 통해 죽음의 고리를 피하는 효과적인 정책을 학습한다.