[논문 리뷰] Pose Proposal Critic: Robust Pose Refinement by Learning Reprojection Errors

Lucas Brynte, Fredrik Kahl|arXiv (Cornell University)|2020. 05. 13.

Robot Manipulation and Learning참고 문헌 30인용 수 6

한 줄 요약

이 논문은 부분적 가림 상황에서 3D 객체 자세 추정 성능을 향상시키기 위해 재투영 오차를 예측하는 CNN을 훈련시켜 명시적인 자세 회귀 없이도 견고한 최적화를 가능하게 하는 새로운 자세 보정 방법인 Pose Proposal Critic(PPC)을 제안한다. PPC는 순수하게 합성 데이터로만 훈련되어도 Occlusion LINEMOD 벤치마크에서 세 가지 지표 중 두 가지에서 최신 기준 성능을 달성하며, 기존 방법들을 능가한다.

ABSTRACT

In recent years, considerable progress has been made for the task of rigid object pose estimation from a single RGB-image, but achieving robustness to partial occlusions remains a challenging problem. Pose refinement via rendering has shown promise in order to achieve improved results, in particular, when data is scarce. In this paper we focus our attention on pose refinement, and show how to push the state-of-the-art further in the case of partial occlusions. The proposed pose refinement method leverages on a simplified learning task, where a CNN is trained to estimate the reprojection error between an observed and a rendered image. We experiment by training on purely synthetic data as well as a mixture of synthetic and real data. Current state-of-the-art results are outperformed for two out of three metrics on the Occlusion LINEMOD benchmark, while performing on-par for the final metric.

연구 동기 및 목표

• RGB-only 자세 추정에서 주요 과제인 부분적 가림 상황에서의 3D 객체 자세 추정의 견고성을 향상시키기 위해.
• 실제 레이블이 부여된 훈련 데이터에 의존하지 않는 자세 보정 방법을 개발하여 데이터 수집 비용을 줄이기 위해.
• 직접 자세 회귀가 아닌 오차 추정에 초점을 맞춰 렌더링 기반 자세 보정을 향상시키기 위해.
• 특히 도전적인 가림 조건에서의 벤치마크 지표에서 최신 기준 성능을 달성하기 위해.

제안 방법

• 이 방법은 객체 CAD 모델과 초기 자세 제안을 입력으로 받아, 제안된 자세 하에서 렌더링된 이미지를 생성한다.
• CNN은 관측된 이미지와 제안된 자세 하에서 렌더링된 이미지 간 평균 재투영 오차를 추정하도록 훈련된다.
• 네트워크는 순수하게 합성 데이터 또는 합성 및 실재 데이터의 조합으로 훈련되며, 자세 파라미터에 대한 명시적 지도 없이 오차를 예측하도록 학습된다.
• 추론 과정에서는 기울기 기반 최적화를 사용하여 예측된 재투영 오차를 최소화함으로써 자세를 반복적으로 보정한다.
• 오차 함수의 과소 또는 과대 추정에 대해 강건한 오차 최소화에 초점을 맞추므로, 이 방법은 암시적으로 가림을 처리한다.
• 자세 제안이 PVNet에서 유래한 경우, 기하학적 타당성을 확보하기 위해 부정적 깊이 보정을 적용한다.

실험 결과

연구 질문

• RQ1 자세 파라미터에 대한 직접적인 회귀 없이도, 재투영 오차를 예측하도록 훈련된 CNN이 단독으로 견고한 자세 보정을 달성할 수 있는가?
• RQ2 제안된 방법은 부분적 가림 조건에서 최신 기준 방법들과 비교해 어떻게 성능을 내는가?
• RQ3 합성 데이터로만 훈련된 경우, 이 방법이 얼마나 잘 일반화되는가?
• RQ4 자세 회귀 대신 오차 추정을 학습함으로써 가림과 노이즈가 있는 예측에 대한 견고성이 향상되는가?

주요 결과

• PPC는 Occlusion LINEMOD 벤치마크에서 세 가지 지표 중 두 가지에서 최신 기준 성능을 달성했으며, 고양이 객체의 add(-s)-0.1d 지표에서 98.80%를 기록했다.
• reproj-5px 지표에서 PPC는 평균 정확도 89.74%를 달성하여 PoseCNN과 PoseCNN+DeepIM를 모두 능가했다.
• 5cm/5° 지표에서 PPC는 평균 정확도 97.60%를 기록했으며, PoseCNN+DeepIM(97.53%)를 능가했고, 최고 성능을 낸 베이스라인과 동일한 성능을 보였다.
• 합성 데이터로만 훈련되어도 최신 기준 성능을 달성하여, 실제 세계의 가림 상황으로의 일반화 능력이 뛰어나다는 것을 입증했다.
• 가림 상황에서도 네트워크의 오차 추정은 신뢰할 수 있었으며, 오차 함수의 예측 최소값이 실제 자세에 가깝게 유지되었고, 비록 오차 함수의 추정에 편향이 있었더라도 그러한 편향이 영향을 미치지 않았다.