[논문 리뷰] Articulated Object Interaction in Unknown Scenes with Whole-Body Mobile Manipulation

Mayank Mittal, David Hoeller외 3명|arXiv (Cornell University)|2021. 03. 18.

Robotic Path Planning Algorithms인용 수 11

한 줄 요약

이 논문은 미지의 동적 환경에서 대규모 관절 구조를 가진 물체의 이동형 조작을 위한 이단계 계획 프레임워크를 제안한다. 물체 중심 계획자(Planner)는 RGB-D 데이터로부터 조작 동작을 생성하고, 에이전트 중심 모델 예측 제어(MPC) 계획자(Planner)는 안전하고 동적인 전체 신체 운동 실행을 보장한다. 시뮬레이션에서 이중 기반 방법 대비 134% 높은 성공률과 26.5% 빠른 실행 시간을 달성하였으며, 다리형 이동형 조작자에서의 실제 환경 검증을 통해 검증되었다.

ABSTRACT

A kitchen assistant needs to operate human-scale objects, such as cabinets and ovens, in unmapped environments with dynamic obstacles. Autonomous interactions in such environments require integrating dexterous manipulation and fluid mobility. While mobile manipulators in different form factors provide an extended workspace, their real-world adoption has been limited. Executing a high-level task for general objects requires a perceptual understanding of the object as well as adaptive whole-body control among dynamic obstacles. In this paper, we propose a two-stage architecture for autonomous interaction with large articulated objects in unknown environments. The first stage, object-centric planner, only focuses on the object to provide an action-conditional sequence of states for manipulation using RGB-D data. The second stage, agent-centric planner, formulates the whole-body motion control as an optimal control problem that ensures safe tracking of the generated plan, even in scenes with moving obstacles. We show that the proposed pipeline can handle complex static and dynamic kitchen settings for both wheel-based and legged mobile manipulators. Compared to other agent-centric planners, our proposed planner achieves a higher success rate and a lower execution time. We also perform hardware tests on a legged mobile manipulator to interact with various articulated objects in a kitchen. For additional material, please check: www.pair.toronto.edu/articulated-mm/.

연구 동기 및 목표

• 비정형이고 미지의 환경에서 동적 장애물이 존재하는 상황에서 대규모 관절 구조를 가진 가정용 물체(예: 캐비닛, 오븐)와 자율적으로 상호작용할 수 있도록 하는 것.
• 물리적 제약과 환경 불확실성 하에서 실시간으로 정교한 조작과 이동 기반 제어를 통합하는 도전 과제를 해결하는 것.
• 안전하고 실현 가능하며 효율적인 물체 중심 조작 계획의 실행을 보장하는 에이전트 중심 계획자(Planner)를 개발하는 것.
• 기저 기반, 이중 기반, MPC 기반의 다양한 에이전트 중심 계획자(Planner)를 전체 신체 이동형 조작에서 비교·기준화하기 위한 것.
• 휠 기반 및 다리형 이동형 조작자에서 고해상도 시뮬레이션과 실제 하드웨어 실험을 통해 시스템을 검증하는 것.

제안 방법

• 물체 중심 계획자(Planner)는 RGB-D 인식을 기반으로 물체의 운동학적 특성과 상호작용 지점에 집중하여 조작 동작 조건에 따라 계획된 행동 시퀀스를 생성한다.
• 에이전트 중심 계획자(Planner)는 모델 예측 제어(MPC)를 사용하여 제약 조건이 있는 최적 제어 문제로 전체 신체 운동 제어를 공식화하며, 작업 목표와 제약 위반 요소를 조합한 민감도 함수를 사용한다.
• MPC 계획자(Planner)는 실시간 충돌 회피를 위해 온라인 업데이트되는 환경 서피스 거리 함수(ESDF)와 글로벌 일致성 있는 점유 지도를 사용한다.
• FIESTA는 로봇 중심 SDF와 환경 일관성을 유지하기 위해 적응하여, 운동 중에 반응적인 장애물 회피를 가능하게 한다.
• 기반과 팔의 운동을 통합된 전체 신체 역학 모델을 사용하여 통합하여, 운동학적 실현 가능성과 관절 한계 준수를 보장한다.
• 순차적 정수 프로그래밍(SQP) 기반 민감도 함수는 환경 비용과 신체 비용을 통합하여 여러 후보 상호작용 계획 간 평가 및 선택을 수행한다.

실험 결과

연구 질문

• RQ1 이동형 조작자가 미지의 동적 환경에서 움직이는 장애물이 존재하는 상황에서 물체 중심 조작 계획을 안전하고 효율적으로 실행할 수 있는 방법은 무엇인가?
• RQ2 MPC 기반, 이중 기반, 샘플링 기반의 에이전트 중심 계획자(Planner)는 관절 구조를 가진 물체 상호작용에서 각각 어떤 상대적 이점이 있는가?
• RQ3 반응형 MPC 기반 에이전트 중심 계획자(Planner)는 복잡하고 혼잡한 주방 환경에서 동적 장애물을 효과적으로 처리하면서도 높은 성공률과 낮은 실행 시간을 유지할 수 있는가?
• RQ4 에이전트 중심 계획자(Planner)는 안전성과 실현 가능성 기준에 따라 여러 후보 상호작용 옵션(예: 다양한 캐치 위치) 간의 의사결정을 어떻게 지원하는가?
• RQ5 제안된 이단계 프레임워크는 휠 기반 및 다리형 시스템을 포함한 다양한 이동형 조작자 플랫폼에 얼마나 일반화될 수 있는가?

주요 결과

• MPC 기반 에이전트 중심 계획자(Planner)는 시뮬레이션에서 관절 구조를 가진 주방 물체의 조작에서 이중 기반 계획자 대비 134% 높은 성공률을 달성하였다.
• MPC 기반 접근 방식은 이중 기반 방법 대비 실행 시간을 26.5% 단축시켜 효율성 향상을 입증하였다.
• 다리형 이동형 조작자에서의 하드웨어 실험을 통해 다양한 관절 구조를 가진 물체(예: 서랍, 오븐)를 동적 주방 환경에서 실제 상호작용하는 데 성공하였다.
• 반응형 MPC 계획자(Planner)는 장애물의 움직임에 따라 기반 운동을 조정하고 필요에 따라 팔 사용을 늘림으로써 동적 장애물을 효과적으로 회피하였으며, 장애물 이동 후 안전한 구성으로 후퇴하였다.
• 에이전트 중심 계획자(Planner)의 민감도 함수는 장애물 근처에서 충돌 방지 페널티가 높아지므로 더 안전한 상호작용 옵션을 우선순위로 배정하여 성공적으로 작동하였다.
• 시스템은 물체 기하학적 형태, 위치, 환경 혼잡도의 변화를 잘 처리하여 실제 비정형 환경에서의 프레임워크의 적응 가능성과 견고성을 확인하였다.