[논문 리뷰] SE3-Pose-Nets: Structured Deep Dynamics Models for Visuomotor Planning and Control

Arunkumar Byravan, Felix Leeb외 2명|arXiv (Cornell University)|2017. 10. 02.

Advanced Vision and Imaging참고 문헌 18인용 수 30

한 줄 요약

SE3-Pose-Nets는 프레임 간 점별 대응 관계만을 사용하여 원시 깊이 데이터로부터 6차원 물체 자세 임베딩과 환경 요소 분할을 동시에 학습하는 구조적 딥 다이내믹스 모델을 제안한다. 낮은 차원의 물리적으로 타당한 자세 공간에서 다이내믹스를 예측함으로써, 30Hz에서 실시간으로 기울기 기반 비주얼 모터 제어를 가능하게 하여 시뮬레이션 및 봇서봇(Baxter)에서의 실제 실험에서 기존 방법들보다 뛰어난 성능을 보이며 데이터 연동 정확도와 제어의 강인성을 향상시킨다.

ABSTRACT

In this work, we present an approach to deep visuomotor control using structured deep dynamics models. Our deep dynamics model, a variant of SE3-Nets, learns a low-dimensional pose embedding for visuomotor control via an encoder-decoder structure. Unlike prior work, our dynamics model is structured: given an input scene, our network explicitly learns to segment salient parts and predict their pose-embedding along with their motion modeled as a change in the pose space due to the applied actions. We train our model using a pair of point clouds separated by an action and show that given supervision only in the form of point-wise data associations between the frames our network is able to learn a meaningful segmentation of the scene along with consistent poses. We further show that our model can be used for closed-loop control directly in the learned low-dimensional pose space, where the actions are computed by minimizing error in the pose space using gradient-based methods, similar to traditional model-based control. We present results on controlling a Baxter robot from raw depth data in simulation and in the real world and compare against two baseline deep networks. Our method runs in real-time, achieves good prediction of scene dynamics and outperforms the baseline methods on multiple control runs. Video results can be found at: https://rse-lab.cs.washington.edu/se3-structured-deep-ctrl/

연구 동기 및 목표

• 원시 깊이 관측치로부터 일관되고 저차원의 자세 공간을 학습하여 비주얼 모터 제어에서 장거리 데이터 연동 문제를 해결한다.
• 기울기 기반 최적화 방법을 통해 학습된 자세 공간에서 직접 행동을 최적화하여 실시간 반응형 제어를 가능하게 한다.
• 최소한의 감독 하에 구조적 인코더-디코더 아키텍처를 사용하여 물체 부위 분할과 3차원 운동 다이내믹스를 동시에 예측한다.
• 외부 추적 시스템에 의존하지 않도록 데이터 연동을 학습된 다이내믹스 모델 내부에 통합한다.
• 시뮬레이션 및 실제 환경에서 봇서봇(Baxter)에서의 강인한 실시간 제어 성능을 입증한다.

제안 방법

• 모델은 인코더-디코더 아키텍처를 사용하여 감지된 환경 요소에 대해 저차원 자세 임베딩을 예측하며, 이는 SE(3) 공간 내에서 6차원 물체 자세를 표현한다.
• 프레임 간 점별 대응 관계만을 사용하여 페어드 포인트 클라우드 데이터로 훈련되며, 이미지 재구성 대신 자세 변화를 모델링하는 물리적으로 타당한 3차원 손실 함수를 사용한다.
• 네트워크는 환경의 주목할 만한 부분을 명시적으로 분할하고 장시간 시퀀스에 걸쳐 일관된 자세 임베딩을 학습하여 암묵적인 데이터 연동을 가능하게 한다.
• 기울기 기반 최적화(예: 가우스-뉴턴 또는 backpropagation)를 사용하여 잠재 공간에서 자세 오차를 최소화함으로써 제어를 수행하며, 이는 실시간 피드백 제어를 가능하게 한다.
• 속도 제어 및 종단기구 제어를 모두 지원하며, 연관성이 높은 관절의 상태 정보를 활용하여 성능을 향상시킨다.
• 프레임 간 점 대응 관계만으로 감독을 받는다.

실험 결과

연구 질문

• RQ1 딥 다이내믹스 모델은 프레임 간 점별 대응 관계만으로도 장시간 시퀀스에 걸쳐 일관된 6차원 자세 임베딩을 학습할 수 있는가?
• RQ2 이러한 자세 임bedded 모델은 외부 데이터 연동 시스템 없이도 실시간 반응형 비주얼 모터 제어를 가능하게 하는가?
• RQ3 엔드 투 엔드 픽셀 수준의 다이내믹스 모델과 비교할 때, 구조적이고 부위 기반 표현을 학습함으로써 제어 성능과 일반화 능력은 어떻게 향상되는가?
• RQ4 학습된 자세 공간에서 기울기 기반 최적화가 행동 샘플링 또는 이미지 공간 제어에 비해 속도와 정확도 면에서 어느 정도 뛰어나게 되는가?
• RQ5 모델은 센서 노이즈와 모델링되지 않은 다이내믹스가 존재하는 실제 로봇 제어 환경에서도 일반화 가능한가?

주요 결과

• SE3-Pose-Nets는 30Hz 이상의 실시간 제어를 달성하여, 기존 방법들(약 10Hz)보다 훨씬 빠르며, 자세 검출 단계를 포함한 성능도 뛰어나다.
• 모델은 시뮬레이션 및 실제 봇서봇(Baxter) 제어 작업에서 두 기준 딥 네트워크보다 뛰어난 예측 정확도와 제어 강인성을 보였다.
• 6차원 자세 임베딩을 예측함으로써 장시간 시퀀스에 걸쳐 일관된 데이터 연동을 성공적으로 학습하여 외부 추적 시스템이 필요 없어졌다.
• 자세 공간에서 가우스-뉴턴 최적화를 통한 제어는 수렴 속도가 매우 빠르며, 센서 노이즈가 있는 실제 데이터에서도 backpropagation 기반 제어와 거의 동일한 성능을 보였다.
• 모델는 강력한 일반화 능력을 보였으며, 시뮬레이션 및 실제 실험 결과 모두에서 모델링되지 않은 다이내믹스와 깊이 이미지에서 종단기구의 시야가 불량한 상황에서도 빠른 수렴과 안정된 성능을 보였다.
• 관절 각도 측정값을 추가하면 하위 관절 체인(4–6번 관절)에서 성능 향상이 이루어지지만, 강한 운동 상관관계로 인해 여전히 도전 과제가 남아 있다.