[논문 리뷰] Learning Domain-Independent Heuristics for Grounded and Lifted Planning

Dillon Z. Chen, Sylvie Thiébaux외 1명|arXiv (Cornell University)|2023. 12. 18.

AI-based Problem Solving and Planning인용 수 4

한 줄 요약

이 논문은 도메인 독립적 휴리스틱을 학습할 수 있도록 도와주는 새로운 그래프 표현 방식인 기초화된(Grounded) 및 업그레이드된(Lifted) 표현을 제안한다. 이를 통해 그래프 신경망(GNNs)은 기초화된 문제 인스턴스에 의존하지 않고도 도메인 독립적 휴리스틱을 학습할 수 있다. 제안된 GOOSE 플래너는 이러한 표현 방식을 활용해 이전 방법보다 훨씬 큰 문제에 일반화할 수 있으며, 새로운 작업에 대해 계획 품질과 탐색 효율성에서 STRIPS-HGN과 $h^{\text{FF}}$를 능가한다.

ABSTRACT

We present three novel graph representations of planning tasks suitable for learning domain-independent heuristics using Graph Neural Networks (GNNs) to guide search. In particular, to mitigate the issues caused by large grounded GNNs we present the first method for learning domain-independent heuristics with only the lifted representation of a planning task. We also provide a theoretical analysis of the expressiveness of our models, showing that some are more powerful than STRIPS-HGN, the only other existing model for learning domain-independent heuristics. Our experiments show that our heuristics generalise to much larger problems than those in the training set, vastly surpassing STRIPS-HGN heuristics.

연구 동기 및 목표

• 기존의 도메인 독립적 휴리스틱 학습 모델, 예를 들어 STRIPS-HGN와 같은 이론적 표현력 문제와 확장성 문제를 해결하고자 한다.
• 고전적 플래닝 작업을 위한 새로운 그래프 표현 방식인 기초화된(Grounded) 및 업그레이드된(Lifted) 표현을 개발하고자 한다.
• 기초화된 그래프를 생성하지 않고도 업그레이드된 표현에서 직접 도메인 독립적 휴리스틱을 학습할 수 있도록 하고자 한다.
• 제안된 그래프에서 메시지 전달 신경망(MPNNs)의 표현력을 기존 알려진 도메인 독립적 휴리스틱과 관련하여 이론적으로 분석하고자 한다.
• 학습된 휴리스틱의 성능을 실증적으로 평가하여 일반화 능력, 계획 품질, 확장성 등을 측정하고자 한다.

제안 방법

• 플래닝 작업을 위한 GNN에 적합한 세 가지 새로운 그래프 표현 방식인 사실 기반 표현(Factual-Driven Representation, FDR), 기초화된 STRIPS(SLG), 업그레이드된 STRIPS(LLG)를 제안한다.
• 이러한 그래프에서 작동하는 메시지 전달 프레임워크를 설계하며, 순열 불변 집합 함수를 사용하여 일반화를 보장한다.
• 기초화되지 않은 업그레이드된 그래프 표현을 도입하여, 전체 기초화된 초그래프를 생성하지 않고도 대규모 문제에서 효율적인 학습이 가능하도록 한다.
• 정보 유지와 일반화의 균형을 위해 GNN에서 평균 및 최대 풀링 집합기(aggregator)를 사용하며, 메시지 전달 깊이 및 집합기 선택과 같은 하이퍼파라미터에 대한 분석도 수행한다.
• GNN으로 학습된 휴리스틱을 사용하는 휴리스틱 탐색 엔진인 GOOSE 플래너를 구현하며, 고속 상태 평가를 위한 GPU 가속 배치 평가를 지원한다.
• 배치 평가를 통해 GPU 활용도를 최적화하여, 충분한 배치 크기에서 업그레이드된 그래프의 경우 상태당 인fer 시간을 1ms 미만으로 낮춘다.

Figure 5: (a) GOOSE learned heuristics ( $y$ -axis) vs. $h^{*}$ ( $x$ -axis). No $n$ -puzzle problem could have $h^{*}$ computed. (b) $h^{\operatorname*{FF}}$ ( $y$ -axis) vs. GOOSE ( $x$ -axis) on number of expanded nodes (left) and plan cost (right). Points on the bottom right triangles favour $h^

실험 결과

연구 질문

• RQ1 기초화된 표현 방식의 확장성 문제를 피하면서도 GNN 기반 도메인 독립적 휴리스틱 학습을 지원할 수 있는 플래닝 작업의 그래프 표현을 설계할 수 있는가?
• RQ2 기초화하지 않고도 업그레이드된 플래닝 표현에서 효과적인 도메인 독립적 휴리스틱을 학습할 수 있는가?
• RQ3 제안된 GNN 모델의 표현력은 STRIPS-HGN 및 알려진 도메인 독립적 휴리스틱과 비교해 어떻게 되는가?
• RQ4 학습 데이터보다 훨씬 큰 문제에 대해 학습된 휴리스틱이 얼마나 잘 일반화되는가?
• RQ5 그래프 표현 방식과 GNN 하이퍼파라미터(예: 레이어 수, 집합기 유형 등)의 선택이 휴리스틱 정확도와 탐색 성능에 어떤 영향을 미치는가?

주요 결과

• SLG 기반 기초화된 그래프와 8층의 평균 집합기로 구성된 제안된 GOOSE 플래너는 학습 데이터보다 훨씬 큰 문제에 일반화되며, 확장성과 계획 품질 면에서 STRIPS-HGN과 $h^{\text{FF}}$를 능가한다.
• SLG 그래프를 사용한 도메인 독립적 GOOSE는 VisitAll, VisitSome 및 블록스월드 문제의 절반 이상에서 $h^{\text{FF}}$를 능가하며, 더 적은 노드를 전개하고 더 높은 품질의 계획을 반환한다.
• 업그레이드된 그래프 표현(LLG)는 기초화되지 않은 채로 도메인 독립적 휴리스틱 학습이 가능하게 하여, 기초화된 GNN이 처리할 수 없는 대규모 문제를 다룰 수 있도록 한다.
• 동일한 그래프 표현을 사용해 도메인 의존적 학습을 수행한 GOOSE는 여러 도메인에서 $h^{\text{FF}}$보다 더 넓은 커버리지와 더 낮은 비용의 계획을 도출한다.
• 메시지 전달 레이어의 최적 수는 도메인 독립적 학습 시 8~12층, 도메인 의존적 학습 시 4~8층이며, 이를 초과하면 학습의 불안정성과 과적합으로 인해 성능이 저하된다.
• GPU 가속 평가로 인해 업그레이드된 그래프의 경우 상태당 휴리스틱 인fer 시간이 0.07~0.7ms로 단축되었고, 기초화된 그래프의 경우 0.1~5ms로 줄어들었으며, 업그레이드된 그래프의 최적 성능은 배치 크기가 32 이상일 때, 기초화된 그래프의 경우 4 이상일 때 달성된다.