[논문 리뷰] Grounding Classical Task Planners via Vision-Language Models

Xiaohan Zhang, Yan Ding외 5명|arXiv (Cornell University)|2023. 04. 17.

AI-based Problem Solving and Planning인용 수 7

한 줄 요약

이 논문은 시각-언어 모델(VLM) 기반 프레임워크인 TPVQA를 제안한다. TPVQA는 VLM을 사용해 행동 전조건(가용성)과 행동 영향(실패)을 시각적 질문 응답(VQA) 작업으로 확인함으로써 고전적 작업 계획기를 로봇 인식에 통합한다. 기호적 계획과 VLM을 통합함으로써 TPVQA는 복잡한 작업에서 70%의 작업 완료율을 달성했으며, 행동 이름 쿼리에만 의존하거나 전조건 검사를 수행하지 않는 기준선보다 뚜렷이 뛰어난 성능을 보였다.

ABSTRACT

Classical planning systems have shown great advances in utilizing rule-based human knowledge to compute accurate plans for service robots, but they face challenges due to the strong assumptions of perfect perception and action executions. To tackle these challenges, one solution is to connect the symbolic states and actions generated by classical planners to the robot's sensory observations, thus closing the perception-action loop. This research proposes a visually-grounded planning framework, named TPVQA, which leverages Vision-Language Models (VLMs) to detect action failures and verify action affordances towards enabling successful plan execution. Results from quantitative experiments show that TPVQA surpasses competitive baselines from previous studies in task completion rate.

연구 동기 및 목표

• 실세계 환경에서 완벽한 인식과 행동 실행을 전제로 하는 고전적 계획 시스템의 격차를 해소하기 위해.
• 계획 모니터링에 맞춤형 엔지니어링에 의존도를 줄이기 위해 사전 훈련된 시각-언어 모델을 활용하기 위해.
• 자연어 질의를 통해 VLM을 활용해 행동 전조건을 검증하고 실패를 탐지함으로써 계획 실행의 견고성을 확보하기 위해.
• 기호적 계획과 시각적 인식을 밀접하게 통합함으로써 장기적 수평 작업에서의 작업 완료율을 향상시키기 위해.

제안 방법

• TPVQA는 사전 훈련된 시각-언어 모델을 사용해 행동 가용성 검증과 실패 탐지를 시각적 질문 응답(VQA) 작업으로 프레임워크화한다.
• 행동 실행 이전에 "사과를 집을 수 있나요?"와 같은 자연어 질문을 VLM에 쿼리하여 전조건을 확인한다.
• 행동 실행 이후에는 "행동이 성공했나요?" 또는 "접시가 깨끗합니까?"와 같은 질문을 통해 영향을 검증함으로써 행동 이름에만 의존하지 않는다.
• 기호적 플래너의 출력(전조건 및 영향)을 VLM의 프롬프트로 사용하여 추상적 행동의 의미적 기반을 확보한다.
• 전조건에 실패가 있거나 영향이 달성되지 않으면 재계획 또는 재실행을 유도하여 인식-행동 루프를 완성한다.
• 프레임워크는 실제 주거 환경 이미지와 디퓨전 증강 이미지를 조합한 데이터셋에서 평가되었으며, 실제 로봇 하드웨어에 구현되었다.

실험 결과

연구 질문

• RQ1 사전 훈련된 시각-언어 모델이 고전적 계획 환경에서 행동 전조건(가용성)을 효과적으로 검증하는 데 사용될 수 있는가?
• RQ2 예를 들어 "접시가 깨끗합니까?"와 같은 의미적으로 기반된 질문을 VLM에 쿼리하는 것이 "세탁 접시 성공했나요?"와 같은 행동 이름에 관한 질문보다 실패 탐지에서 더 우수한 성능을 내는가?
• RQ3 VLM 기반 모니터링이 행동 이름 쿼리나 인식 기반 없이 작동하는 기준선 대비 장기적 수평 로봇 작업의 작업 완료율을 향상시킬 수 있는가?
• RQ4 기호적 계획과 시각-언어 모델의 통합이 로봇 시스템에서 맞춤형 인식 모듈의 필요성을 어떻게 줄이는가?

주요 결과

• TPVQA는 eat_apple 작업에서 70%의 작업 완료율을 달성했으며, 이는 다음 기준선인 EffectVQA(53%)를 크게 뛰어넘고 PaLMEVQA 및 SuccessVQA를 초월했다.
• 세계 상태 변화에 대한 질문(예: "접시가 깨끗합니까?")을 사용한 VQA 전략은 행동 영향 모니터링에서 79%의 정확도를 기록했으며, 행동 이름 기반 질문(예: "세탁 접시 성공했나요?")은 단지 45%의 정확도를 기록해 더 높은 성능을 보였다.
• 가용성과 실패 탐지 모두를 고려한 방법(TPVQA 및 PaLMEVQA)은 실패 탐지만 고려한 방법(EffecVQA 및 SuccessVQA)보다 뛰어난 성능을 보였으며, 전조건 검증의 중요성을 입증했다.
• 인식 기반 없이 기호적 계획만 사용하는 기준선(TP)은 PaLMEVQA 및 SuccessVQA보다 높은 성공률(63%)을 기록했으며, 이는 정확도가 떨어지는 VLM 예측이 성능을 저하시킬 수 있음을 시사한다.
• 의미적으로 풍부한 질문을 통해 VLM가 행동 영향을 탐지할 때(79%) 실패 결과를 탐지할 때(45%)보다 더 높은 정확도를 보였으며, 이는 영향 모니터링이 성공/실패 탐지보다 더 신뢰할 수 있음을 시사한다.
• 실제 로봇에의 구현을 통해 TPVQA가 실제 세계의 물체 재배열 작업에서의 실현 가능성을 입증했으며, 시뮬레이션을 넘어서 실용적 적용 가능성을 확인했다.