[논문 리뷰] Frame Mining: a Free Lunch for Learning Robotic Manipulation from 3D Point Clouds

Minghua Liu, Xuanlin Li외 3명|arXiv (Cornell University)|2022. 10. 14.

3D Shape Modeling and Analysis인용 수 8

한 줄 요약

이 논문은 로봇 조작 학습의 샘플 효율성과 성능을 향상시키기 위해 종단기구, 대상 부품, 로봇 기준, 세계 기준 등의 3차원 포인트 클라우드 좌표 프레임을 적응적으로 선택하고 융합하는 작업에 관계없는 방법인 FrameMiners를 제안한다. 추가 센서나 학습 데이터 없이 최적의 프레임을 탐색함으로써, 다섯 가지 물리적 조작 작업 전반에서 최신 기술 수준의 성능을 달성하며, 3차원 시각 기반 강화 학습에 대해 '무료 점심'을 제공한다.

ABSTRACT

We study how choices of input point cloud coordinate frames impact learning of manipulation skills from 3D point clouds. There exist a variety of coordinate frame choices to normalize captured robot-object-interaction point clouds. We find that different frames have a profound effect on agent learning performance, and the trend is similar across 3D backbone networks. In particular, the end-effector frame and the target-part frame achieve higher training efficiency than the commonly used world frame and robot-base frame in many tasks, intuitively because they provide helpful alignments among point clouds across time steps and thus can simplify visual module learning. Moreover, the well-performing frames vary across tasks, and some tasks may benefit from multiple frame candidates. We thus propose FrameMiners to adaptively select candidate frames and fuse their merits in a task-agnostic manner. Experimentally, FrameMiners achieves on-par or significantly higher performance than the best single-frame version on five fully physical manipulation tasks adapted from ManiSkill and OCRTOC. Without changing existing camera placements or adding extra cameras, point cloud frame mining can serve as a free lunch to improve 3D manipulation learning.

연구 동기 및 목표

• 3차원 포인트 클라우드 표현에서 좌표 프레임 선택이 로봇 조작 학습 성능에 미치는 영향을 조사하는 것.
• 종단기구, 대상 부품, 로봇 기준, 세계 등의 좌표 프레임 중 샘플 효율성과 최종 성능에서 뛰어난 성능을 보이는 프레임을 특정하는 것.
• 다양한 조작 작업 전반에서 가장 효과적인 프레임을 자동으로 선택하고 융합하는 작업에 관계없는 프레임 융합 전략을 개발하는 것.
• 추가 카메라, 센서, 도메인 랜덤라이제이션 없이도 성능 향상이 이루어지는지 검증하는 것.

제안 방법

• 세 가지 후보 좌표 프레임을 평가한다: 세계 기준 프레임, 로봇 기준 프레임, 종단기구 기준 프레임, 대상 부품 기준 프레임. 각 프레임은 SE(3) 변환을 통해 고유한 시(scene) 정렬을 제공한다.
• FrameMiners는 작업에 관계없는 융합 전략으로, MixAction(FM-MA), Temporal Gating(FM-TG) 등을 포함한 여러 프레임의 특징을 융합한다.
• 각 프레임은 공유된 3차원 백본(예: PointNet)을 통해 독립적으로 처리되며, 학습 가능한 어텐션 또는 연결 메커니즘을 통해 특징이 융합된다.
• 융합 메커니즘은 작업 다이나믹스와 상태 맥락에 따라 정책이 가장 정보가 풍부한 프레임을 동적으로 선택할 수 있도록 한다.
• 강화 학습과 암시 학습 모두에 호환되며, 광범위한 적용 가능성을 보장한다.
• 디지털 트윈 파이프라인을 사용하여 시뮬레이션에서 학습된 정책을 실제 로봇으로 이관할 수 있으며, 도메인 갭이 크게 발생하지 않는다.

실험 결과

연구 질문

• RQ1 다양한 3차원 포인트 클라우드 좌표 프레임은 로봇 조작에서 정책 학습의 샘플 효율성과 최종 성능에 어떤 영향을 미치는가?
• RQ2 종단기구, 대상 부품, 로봇 기준, 세계 기준 중 어떤 좌표 프레임이 다양한 조작 작업 전반에서 일관되게 뛰어난 성능을 보이는가?
• RQ3 통합된, 작업에 관계없는 프레임 융합 전략이 다수의 작업에서 최상의 단일 프레임 기반 모델을 초월할 수 있는가?
• RQ4 추가 카메라나 센서 데이터 없이도, 좌표 프레임 탐색이 성능 향상에 기여하는가? 이는 3차원 시각 기반 RL에 대해 실제로 '무료 점심'이 되는가?

주요 결과

• 다양한 작업 전반에서 종단기구 기준 프레임과 대상 부품 기준 프레임이 일반적으로 사용되는 세계 기준 프레임과 로봇 기준 프레임보다 샘플 효율성과 최종 성공률에서 뚜렷한 향상을 보였다.
• PushChair 작업에서 FrameMiners(FM-MA)는 대상 부품 기준 프레임 융합을 통해 성공률을 36%에서 53%로 상승시켰다.
• PickObject 작업에서는 FM-MA가 대상 부품 기준 프레임 융합으로 97%의 성공률을 기록했으며, 이를 통해 94%의 성공률을 기록한 단일 프레임 기반 모델을 초월했다.
• Dual-arm 작업인 PushChair와 MoveBucket에서 FrameMiners는 단일 프레임 기반 모델을 모두 압도하며, 다수의 프레임 융합의 가치를 입증했다.
• Kinova Jaco2 로봇에서의 실세계 구현에서는 FM-MA가 84%의 성공률을 기록했으며, 동일한 학습 예산에서 종단기구 기준 프레임 기반 모델(80%)을 능가했다.
• 시뮬레이션과 실제 세계 간 성능 격차는 최소한으로 유지되어, 좌표 프레임 탐색이 도메인 격차를 악화시키지 않는다는 점을 확인했다.