[논문 리뷰] 6D Pose Estimation with Correlation Fusion

Yi Cheng, Hongyuan Zhu외 7명|arXiv (Cornell University)|2019. 09. 24.

Robot Manipulation and Learning참고 문헌 33인용 수 8

한 줄 요약

이 논문은 RGB-D 데이터를 사용한 6차원 물체 자세 추정을 위한 새로운 상관관계 융합(Correlation Fusion, CF) 프레임워크를 제안한다. 자기주의(Self-attention)를 통해 내모odal 및 간모달 상관관계 모델링을 활용하여 구분력 있는 다중모달 특징을 학습한다. 이 방법은 LineMOD 및 YCB-Video 벤치마크에서 최신 기준 성능을 달성하며, 로봇 집게 작업에 실시간이고 정확한 자세 추정을 가능하게 한다.

ABSTRACT

6D object pose estimation is widely applied in robotic tasks such as grasping and manipulation. Prior methods using RGB-only images are vulnerable to heavy occlusion and poor illumination, so it is important to complement them with depth information. However, existing methods using RGB-D data cannot adequately exploit consistent and complementary information between RGB and depth modalities. In this paper, we present a novel method to effectively consider the correlation within and across both modalities with attention mechanism to learn discriminative and compact multi-modal features. Then, effective fusion strategies for intra- and inter-correlation modules are explored to ensure efficient information flow between RGB and depth. To our best knowledge, this is the first work to explore effective intra- and inter-modality fusion in 6D pose estimation. The experimental results show that our method can achieve the state-of-the-art performance on LineMOD and YCB-Video dataset. We also demonstrate that the proposed method can benefit a real-world robot grasping task by providing accurate object pose estimation.

연구 동기 및 목표

• 부족한 조명, 부분적 가림, 대칭 물체의 모호성 문제를 다루는 데 어려움을 겪는 RGB 전용 및 기존 RGB-D 방법의 한계를 해결한다.
• RGB와 깊이 모달 간의 일관성 있고 상보적인 특징을 효과적으로 활용하여 6자리 자세 추정 성능을 향상시킨다.
• 다양한 모달 특징을 상관관계 모델링을 통해 융합하는 통합적인 딥러닝 프레임워크를 개발하여 더 강력한 구분 능력 있는 표현을 향상시킨다.
• 로봇 조작 작업에의 구현을 위해 고정밀도를 유지하면서도 실시간 추론 속도를 확보한다.
• 최소한의 미세조정으로도 실제 로봇 집게 작업 시나리오에서의 실용성을 입증한다.

제안 방법

• 자기주의 기반 메커니즘을 사용해 각 모달 내에서 두드러진 특징을 학습하는 내모달 상관관계 모델링(Intra-modality Correlation Modeling, IntraMCM)을 도입한다.
• 교차주의(Cross-attention)를 통해 RGB와 깊이 모달 간의 상보적인 특징을 포착하는 간모달 상관관계 모델링(Inter-modality Correlation Modeling, InterMCM)을 제안한다.
• 내상관관계 및 간상관관계 특징을 위한 다수의 융합 전략을 설계하여 효율적이고 효과적인 정보 흐름을 보장한다.
• 특징 학습과 자세 회귀를 동시에 최적화하는 엔드 투 엔드 딥 네트워크를 구현하여 실시간 추론을 가능하게 한다.
• 깊이 정보를 활용해 거친 예측을 보정하는 리파인어 헤드를 도입하여 최종 자세 정확도를 향상시킨다.
• 표준 6자리 자세 손실 함수를 사용하고, 애너테이션된 RGB-D 데이터셋에서 역전파를 통해 최적화한다.

실험 결과

연구 질문

• RQ1 내모달 상관관계 모델링이 6자리 자세 추정에서 RGB 및 깊이 모달 내 특징 표현을 향상시키는 데 기여하는가?
• RQ2 간모달 상관관계 모델링이 RGB와 깊이 간의 상보적 특징을 효과적으로 포착하여 자세 정확도를 향상시키는가?
• RQ3 내상관관계 및 간상관관계 특징을 위한 다양한 융합 전략이 전체 성능 및 추론 효율성에 어떤 영향을 미치는가?
• RQ4 제안된 상관관계 융합 프레임워크가 LineMOD 및 YCB-Video와 같은 표준 벤치마크에서 기존 RGB-D 방법을 초월하는가?
• RQ5 정확한 6자리 자세 추정을 통해 실제 로봇 집게 작업의 성공률을 어느 정도 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 YCB-Video 데이터셋에서 최신 기준 성능을 달성하였으며, ADD(-S) <2cm 기준으로 PoseCNN 및 DenseFusion보다 각각 13.21%, 4.71% 높은 성능을 기록하였다.
• LineMOD 데이터셋에서는 비교된 방법들 중에서 가장 뛰어난 성능을 보였으며, 가림 및 대칭성 문제에 대한 뛰어난 강건성을 입증하였다.
• 전체 모델은 단일 NVIDIA GTX 2080 Ti GPU에서 약 20 FPS(1회 추론당 49.8ms)로 실행되어 실시간 배포가 가능하다.
• 시뮬레이션 환경에서 토마토 수프 통을 집는 데 90.0%의 성공률을 기록하였으며, DenseFusion 대비 80.0%보다 높은 성능을 보였고, 테스트된 모든 물체에서 일관된 향상이 관찰되었다.
• 실제 로봇 집게 작업에서 추가적인 실데이터 미세조정 없이도 높은 성공률을 달성하여 일반화 능력과 강건성을 입증하였다.
• 정성적 결과 분석에서, 극도로 가려진 대칭 물체에 대해서는 여전히 도전 과제가 존재하지만, 중간 수준의 가림 및 대칭 물체 상황에서 DenseFusion 대비 뚜렷한 성능 향상을 보였다.