[논문 리뷰] Diff-DOPE: Differentiable Deep Object Pose Estimation

Jonathan Tremblay, Bowen Wen외 4명|arXiv (Cornell University)|2023. 09. 30.

Advanced Neural Network Applications인용 수 5

한 줄 요약

Diff-DOPE는 대량의 합성 데이터셋이나 신경망 학습 없이도, 기울기 하강법을 사용해 관측된 이미지와 렌더링된 이미지 간의 시각적 오차를 최소화하는 학습 불필요한, 미분 가능 렌더링 기반의 6-DoF 물체 자세 보정 방법을 제안한다. 이는 복잡하고 부분적으로 가림을 받는 시나리오에서 평균 1cm 미만의 자세 오차를 달성하며, MegaPose와 같은 최신 기술들을 능가한다.

ABSTRACT

We introduce Diff-DOPE, a 6-DoF pose refiner that takes as input an image, a 3D textured model of an object, and an initial pose of the object. The method uses differentiable rendering to update the object pose to minimize the visual error between the image and the projection of the model. We show that this simple, yet effective, idea is able to achieve state-of-the-art results on pose estimation datasets. Our approach is a departure from recent methods in which the pose refiner is a deep neural network trained on a large synthetic dataset to map inputs to refinement steps. Rather, our use of differentiable rendering allows us to avoid training altogether. Our approach performs multiple gradient descent optimizations in parallel with different random learning rates to avoid local minima from symmetric objects, similar appearances, or wrong step size. Various modalities can be used, e.g., RGB, depth, intensity edges, and object segmentation masks. We present experiments examining the effect of various choices, showing that the best results are found when the RGB image is accompanied by an object mask and depth image to guide the optimization process.

연구 동기 및 목표

• 대규모 합성 데이터셋에 대한 학습을 피하는 자세 보정 방법을 개발하여, 더 빠른 구현과 더 높은 해석 가능성 확보.
• 대칭 물체, 유사한 외관, 또는 낮은 초기 추정치로 인해 발생하는 자세 최적화의 국소 최솟값 문제를 해결.
• 재학습 없이도 RGB, 깊이, 에지, 세그멘테이션 마스크와 같은 다양한 센서 모odalities를 탄력적이고 모듈러하게 활용할 수 있도록 설계.
• 직접적인 최적화를 통해 미분 가능 렌더링을 적용할 경우, 학습된 보정 네트워크보다 정확도와 강인성 면에서 뛰어나다는 것을 입증.
• 동일한 프레임워크를 로봇-카메라 캘리브레이션에 적용할 수 있는지 탐색하여, 물체 자세 추정을 넘어서도 활용 가능성을 넓힘.

제안 방법

• 물체의 6-DoF 자세에 대해 관측된 이미지와 3D 모델에서 렌더링된 이미지 간의 시각적 오차의 기울기를 계산하기 위해, 미분 가능 렌더링을 활용.
• 이미지 공간 내의 픽셀 수준의 불일치를 최소화함으로써, 자세를 반복적으로 개선하기 위해 엔드 투 엔드 기울기 하강 최적화를 수행.
• 국소 최솟값을 피하기 위해, 복수의 병렬 최적화 인스턴스에 대해 서로 다른 랜덤 학습률을 적용하는 학습률 랜덤라이제이션 기법을 도입.
• RGB, 깊이, 강도 에지, 물체 세그멘테이션 마스크 등 다양한 입력 모달리티를 지원하며, 임의의 조합을 사용 가능.
• 3D 무늬가 있는 모델을 미분 가능 렌더링 타겟으로 간주하여, 렌더러를 통해 역전파를 통해 자세 파라미터를 직접 최적화.
• 수동으로 정렬된 3D 로봇 메시와 포인트 클라우드를 사용하여, 세그멘테이션과 깊이만을 최적화함으로써 로봇-카메라 캘리브레이션으로 확장.

실험 결과

연구 질문

• RQ1 학습 불필요한, 미분 가능 렌더링 기반 접근이 대규모 합성 데이터셋에 의존하지 않고도 최신 기술 수준의 6-DoF 물체 자세 추정 정확도를 달성할 수 있는가?
• RQ2 특히 대칭 또는 무늬가 없는 물체의 경우, 학습률 랜덤라이제이션이 국소 최솟값을 피하는 데 얼마나 효과적인가?
• RQ3 RGB, 깊이, 세그멘테이션 등 다양한 센서 모달리티를 조합했을 때 자세 보정 성능에 어떤 영향을 미치는가?
• RQ4 동일한 미분 가능 렌더링 프레임워크를 로봇-카메라 캘리브레이션 작업에 적응시킬 수 있는가?
• RQ5 심한 가림, 낮은 물체 해상도, 비-람베르트 표면 재질 등의 도전적인 조건에서도 이 방법의 성능은 어떠한가?

주요 결과

• Diff-DOPE는 HOPE 데이터셋에서 평균 자세 오차가 0.5cm 미만으로 나타나, MegaPose 및 기타 최신 기술들을 크게 능가한다.
• T-LESS 및 YCB-Video 데이터셋에서, 무늬가 없거나 대칭적인 물체에 대해도 Diff-DOPE는 기존 방법들이 실패하기 쉬운 상황에서도 뛰어난 성능을 보였다.
• RGB와 깊이 이미지에 더해 물체 세그멘테이션 마스크를 조합하면 가장 우수한 성능을 내며, RGB만을 사용하는 것보다 오차가 감소한다.
• 학습률 랜덤라이제이션이 성공에 핵심적인 역할을 하며, 국소 최솟값을 피하고 더 정확한 해에 수렴하도록 한다.
• 물체 해상도가 낮은 경우에도 높은 정확도를 유지한다. 물체 크기가 322 픽셀로 줄어들어도 성능이 강인하게 유지된다.
• 깊이와 세그멘테이션만을 사용하여도 Diff-DOPE는 학습된 네트워크 없이도 정확한 캘리브레이션을 성공적으로 수행한다.