[논문 리뷰] TASKOGRAPHY: Evaluating robot task planning over large 3D scene graphs

Christopher Agia, Krishna Murthy Jatavallabhula외 6명|arXiv (Cornell University)|2022. 07. 11.

Robotic Path Planning Algorithms참고 문헌 47인용 수 12

한 줄 요약

이 논문은 3D 시나리오 그래프(3DSG)를 기반으로 한 로봇 작업 계획을 평가하기 위한 대규모 벤치마크인 Taskography를 소개한다. 이는 고전적 또는 학습 기반 계획기 모두가 전체 3DSG에서 실시간 성능을 달성하지 못함을 드러낸다. 이를 해결하기 위해, 3DSG 복잡도를 줄이는 작업 조건에 기반한 흐림(scrub) 방법과, 학습 기반 계획기를 향상시키기 위한 계층적 구조 활용 절차인 시크(see)를 제안한다. 흐림은 고전적 계획기를 학습 기반 최신 방법을 능가하게 하고, 시크는 재계획 수를 한 단계 감소시켜 실시간 계획을 가능하게 한다.

ABSTRACT

3D scene graphs (3DSGs) are an emerging description; unifying symbolic, topological, and metric scene representations. However, typical 3DSGs contain hundreds of objects and symbols even for small environments; rendering task planning on the full graph impractical. We construct TASKOGRAPHY, the first large-scale robotic task planning benchmark over 3DSGs. While most benchmarking efforts in this area focus on vision-based planning, we systematically study symbolic planning, to decouple planning performance from visual representation learning. We observe that, among existing methods, neither classical nor learning-based planners are capable of real-time planning over full 3DSGs. Enabling real-time planning demands progress on both (a) sparsifying 3DSGs for tractable planning and (b) designing planners that better exploit 3DSG hierarchies. Towards the former goal, we propose SCRUB, a task-conditioned 3DSG sparsification method; enabling classical planners to match and in some cases surpass state-of-the-art learning-based planners. Towards the latter goal, we propose SEEK, a procedure enabling learning-based planners to exploit 3DSG structure, reducing the number of replanning queries required by current best approaches by an order of magnitude. We will open-source all code and baselines to spur further research along the intersections of robot task planning, learning and 3DSGs.

연구 동기 및 목표

• 대규모 3D 시나리오 그래프(3DSG)에서 실시간 로봇 작업 계획의 가능성을 평가하기 위해, 기호적, 위상적, 거시적 정보가 풍부하지만 전체 형태로는 계산적으로 금기된 3DSG의 특성을 분석한다.
• 특히 작업과 관련이 없는 불필요한 시나리오 요소에 대한 추론의 비효율성으로 인한 계획 성능 저하의 핵심 요인을 규명한다.
• 시각적 표현 학습과 계획 성능를 분리하기 위해 기호적 계획을 3DSG 기반으로 집중함으로써 계획 알고리즘의 효율성 평가를 명확히 한다.
• 미래의 계획기들을 체계적으로 평가하기 위해 다양한 도메인을 포함한 3DSG 기반 작업 계획 도메인을 지원하는 새로운 벤치마크인 Taskography를 구축한다.
• 미래 연구를 이끄는 데 기여하기 위해, 흐림과 시크를 포함한 오픈소스 도구를 제공한다.

제안 방법

• 주어진 계획 문제를 해결하기 위해 필요한 최소한의 객체만 유지하는, 계획기 독립적이고 작업 조건에 기반한 3DSG 흐림화 방법인 흐림을 제안한다. 이는 정확성을 유지하면서 상태공간 크기를 극적으로 줄인다.
• 작업과 관련된 객체에서 3DSG 조상으로 향하는 상향식 탐색을 통해 도달 가능성과 구조적 완전성을 보장함으로써, 축소된 그래프가 여전히 계획에 충분한지를 확보한다.
• 3DSG 계층을 적용하여 학습 기반 점진적 계획기를 향상시키는 절차인 시크를 도입한다. 이는 유지된 모든 객체가 시작 상태로부터 도달 가능함을 보장하고, 불필요한 재계획 수를 줄인다.
• 학습된 객체 스코어러(기존 PLOI에 영향을 받음)에 기하학적 임계값 감쇠를 적용하여 작업 관련성에 따라 동적으로 객체를 제거하거나 유지하며, 조상의 계층적 유지 보장을 한다.
• 계층적 객체 중요도 추정을 위한 다단계 그래프 신경망 스코어러를 활용하여, 구조적 일관성을 유지하면서도 선택적 흐림을 가능하게 한다.
• 완전 관측 가능하고 결정론적인 환경에서 다양한 도메인(예: 재정렬, 코리어 작업)을 포함하는 Taskography를 설계하여, 기반 및 업그레이드된 계획 모두를 지원한다.

실험 결과

연구 질문

• RQ1 고전적 또는 학습 기반 계획기가 전체 3DSG에서 그 규모와 복잡성에도 불구하고 실시간 성능를 달성할 수 있는가?
• RQ2 3DSG의 작업 조건에 기반한 흐림화가 솔루션 품질을 훼손하지 않으면서 계획 효율성을 얼마나 향상시킬 수 있는가?
• RQ3 학습 기반 계획기가 3DSG의 계층적 구조를 얼마나 효과적으로 활용하여 재계획 반복 횟수를 줄일 수 있는가?
• RQ4 3DSG를 흐림 처리한 후에도 고전적 계획기와 학습 기반 계획기 사이에 체계적인 성능 격차가 존재하는가?
• RQ5 구조적 사전 지식(시크를 통해 구현)의 통합이 점진적 학습 기반 계획에서 계산 오버헤드를 어떻게 크게 줄일 수 있는가?

주요 결과

• 3DSG를 사전에 흐림 처리한 후, 고전적 계획기는 Taskography 벤치마크에서 최신 학습 기반 계획기들을 능가한다.
• 흐림 방법은 3DSG 내 객체 수를 최소한의 필수 집합으로 줄여, 기존에는 계산이 불가능했던 작업을 실시간으로 해결할 수 있도록 한다.
• 시크 절차는 여러 학습 기반 계획기에서 기준 방법 대비 재계획 쿼리 수를 한 단계 감소시켜 7~53단계로 줄였다. 기준 방법은 150~235단계였다.
• 단순한 무작위 흐림 기반 베이스라인 조건에서도 시크 통합으로 재계획 단계 수가 평균 235에서 167로 감소하여, 그 강건성과 효과성을 입증한다.
• 흐림과 시크의 조합은 고전적 및 학습 기반 계획기 모두가 실시간 성능를 달성하도록 가능하게 하며, 흐림은 기반 도메인에서, 시크는 계층적 객체 유지 덕분에 업그레이드 도메인에서 뛰어난 성능를 보인다.
• Taskography 벤치마크와 함께 오픈소스 코드 및 기준 구현체를 제공함으로써, 3DSG 기반 로봇 작업 계획의 평가 및 발전을 위한 표준 플랫폼을 제공한다.