[논문 리뷰] Learning Analysis-by-Synthesis for 6D Pose Estimation in RGB-D Images

Alexander Krull, Eric Brachmann외 4명|arXiv (Cornell University)|2015. 08. 19.

Robotics and Sensor-Based Localization참고 문헌 27인용 수 29

한 줄 요약

이 논문은 RGB-D 영상에서 6차원 물체 자세 추정을 위한 학습 기반 분석-합성 프레임워크를 제안하며, 관측된 이미지와 렲영된 이미지 간의 유사도 측정을 학습하기 위해 컨volutional 신경망(CNN)을 사용한다. CNN은 최대우도 기반으로 훈련된 에너지 함수를 통해 물체 자세의 사후 확률을 모델링하며, 중첩이 심한 두 개의 데이터셋에서 최신 기술 수준의 성능을 달성하여 이전 방법보다 뚜렷한 향상을 이룬다.

ABSTRACT

Analysis-by-synthesis has been a successful approach for many tasks in computer vision, such as 6D pose estimation of an object in an RGB-D image which is the topic of this work. The idea is to compare the observation with the output of a forward process, such as a rendered image of the object of interest in a particular pose. Due to occlusion or complicated sensor noise, it can be difficult to perform this comparison in a meaningful way. We propose an approach that "learns to compare", while taking these difficulties into account. This is done by describing the posterior density of a particular object pose with a convolutional neural network (CNN) that compares an observed and rendered image. The network is trained with the maximum likelihood paradigm. We observe empirically that the CNN does not specialize to the geometry or appearance of specific objects, and it can be used with objects of vastly different shapes and appearances, and in different backgrounds. Compared to state-of-the-art, we demonstrate a significant improvement on two different datasets which include a total of eleven objects, cluttered background, and heavy occlusion.

연구 동기 및 목표

• 중첩과 센서 노이즈가 심한 조건에서도 RGB-D 영상에서 6차원 물체 자세 추정을 향상시키기 위해.
• 복잡한 노이즈와 부족한 깊이 데이터로 인해 분석-합성 기법에서 관측된 이미지와 렌더링된 이미지 간 비교가 어려운 문제를 해결하기 위해.
• 딥 러닝을 활용해 관측된 이미지와 렌더링된 이미지 간에 강건하고 일반화 가능한 유사도 함수를 학습하기 위해.
• 재학습 없이도 다양한 물체 형태, 외관, 배경에 대해 제로샷 일반화를 가능하게 하기 위해.

제안 방법

• 관측된 이미지와 렌더링된 이미지의 쌍을 입력으로 받아 자세 타당성에 해당하는 에너지 값을 출력하는 컨volutional 신경망(CNN)을 훈련한다.
• 에너지 함수는 최대우도 추정을 통해 학습되며, 물체 자세의 사후 분포를 지브스 분포로 모델링한다.
• CNN은 단일 물체(예: 사무라이)에 대해 훈련된 후, 미세조정 없이도 다른 물체에 적용된다.
• 자세 추정 파이프라인은 학습된 에너지 함수를 최적화 목적 함수로 사용하며, 진짜 자세에서 에너지를 최소화한다.
• 이 방법은 RGB와 깊이 정보를 모두 활용하며, 렌더링된 이미지는 3D 모델과 알려진 자세를 사용해 생성된다.
• 이 프레임워크는 일반화 가능하도록 설계되어 있어, RGB 대 깊이 또는 RGB 대 합성 RGB와 같은 다양한 이미지 쌍 유형에 적용 가능하다.

실험 결과

연구 질문

• RQ1 딥 컨volution 신경망이 6차원 자세 추정을 위한 관측된 RGB-D 이미지와 렌더링된 이미지 간의 유사도 측정을 효과적으로 학습할 수 있는가?
• RQ2 한 물체에 대해 훈련된 CNN이 형태, 외관, 배경이 다른 다른 물체로 일반화되는가?
• RQ3 학습된 에너지 함수가 중첩과 센서 노이즈가 심한 상황에서 전통적인 분석-합성 방법보다 우수한 성능을 보일 수 있는가?
• RQ4 성능 향상 효과가 여러 데이터셋과 물체 유형에 걸쳐 안정적인가?

주요 결과

• 중첩 수준이 50%에서 60% 사이인 중첩 데이터셋에서 자세 추정 정확도가 20% 이상 향상되었다.
• Krull 등이 제시한 데이터셋에서, Brachmann 등 [5]의 기준 방법 대비 평균 정확도가 10.97% 향상되었다.
• 훈련 중에 볼 수 없었던 물체, 특히 형태와 외관이 극명하게 다른 물체에 대해서도 효과적으로 일반화되었다.
• Krull 데이터셋에서 모든 테스트 물체에 대해 평균 정확도 56.74%를 달성했으며, 개별 결과로는 56.02% (도구상자), 59.56% (고양이), 54.65% (사무라이)를 기록했다.
• 실패 케이스의 주요 원인은 에너지 함수가 아니라 최적화 문제였으며, 실제 자세의 에너지가 추정된 자세보다 낮은 경우가 많았다.
• 이 방법은 RGB-D를 초월해 다른 이미지 모odal리티로도 일반화 가능하며, 예를 들어 관측된 RGB 이미지와 렌더링된 깊이 이미지 간 비교에도 적용 가능하다.