[논문 리뷰] A Novel Pose Proposal Network and Refinement Pipeline for Better Object Pose Estimation

Ameni Trabelsi, Mohamed Chaabane외 2명|arXiv (Cornell University)|2020. 04. 11.

Robot Manipulation and Learning참고 문헌 20인용 수 1

한 줄 요약

이 논문은 RGB 이미지에서 6차원 물체 자세 추정을 위한 이단계 딥러닝 파이프라인을 제안한다. 이는 영역 제안 네트워크와 시각적 및 유량 특징을 활용하여 자세를 반복적으로 개선하는 다중주의 자세 보정 네트워크(MARN)를 조합한다. 이 방법은 세 가지 벤치마크에서 최신 기술 수준의 성능을 달성하며, 경쟁적인 추론 속도를 제공한다.

ABSTRACT

In this paper, we present a novel deep learning pipeline for 6D object pose estimation and refinement from RGB inputs. The first component of the pipeline leverages a region proposal framework to estimate multi-class single-shot 6D object poses directly from an RGB image and through a CNN-based encoder multi-decoders network. The second component, a multi-attentional pose refinement network (MARN), iteratively refines the estimated pose. MARN takes advantage of both visual and flow features to learn a relative transformation between an initially predicted pose and a target pose. MARN is further augmented by a spatial multi-attention block that emphasizes objects' discriminative feature parts. Experiments on three benchmarks for 6D pose estimation show that the proposed pipeline outperforms state-of-the-art RGB-based methods with competitive runtime performance.

연구 동기 및 목표

• 단일 RGB 이미지에서 딥러닝을 사용하여 6차원 물체 자세 추정 정확도를 향상시키기.
• 막힘과 혼잡한 환경에서 정밀하고 견고한 6차원 자세 예측에 도전하는 것.
• 시각적 및 유량 특징을 효과적으로 활용하여 자세 정확도를 향상시키는 보정 메커니즘 개발.
• 공간 다중주의 기법을 통해 물체의 특징적인 부분에 초점을 맞춰 특징 학습을 향상시키기.
• 실시간 응용 프로그램에 적합한 경쟁적인 런타임 효율성과 함께 높은 성능 달성하기.

제안 방법

• 파이프라인은 다중 디코더를 갖춘 CNN 기반 인코더를 사용하여 RGB 이미지에서 직접 다중 클래스 단일 스크린 6차원 물체 자세 제안을 생성한다.
• 다중주의 자세 보정 네트워크(MARN)는 시각적 및 옵티컬 플로우 특징을 사용하여 초기 자세 예측을 반복적으로 보정한다.
• MARN은 물체의 특징적인 부분을 강조하여 특징 표현을 향상시키는 공간 다중주의 블록을 통합한다.
• 보정 과정은 초기 예측 자세와 목표 자세 사이의 상대 변환을 엔드 투 엔드로 미분 가능한 방식으로 학습한다.
• 네트워크는 6차원 자세 애너테이션에 대한 지도 학습을 통해 RGB 이미지에서 엔드 투 엔드로 훈련된다.
• 성능 및 효율성을 검증하기 위해 프레임워크는 세 가지 표준 6차원 자세 추정 벤치마크에서 평가된다.

실험 결과

연구 질문

• RQ1 단일 단계 영역 제안 네트워크가 RGB 입력만으로 정확한 6차원 물체 자세 추정을 달성할 수 있는가?
• RQ2 보정 네트워크에서 시각적 및 유량 특징을 얼마나 효과적으로 융합하여 자세 정확도를 향상시킬 수 있는가?
• RQ3 공간 다중주의 메커니즘이 6차원 자세 추정을 위한 특징 학습을 얼마나 향상시키는가?
• RQ4 제안된 파이프라인이 경쟁적인 추론 속도를 유지하면서 최신 기술 수준의 성능을 달성하는가?
• RQ5 막힘과 혼잡함과 같은 도전적인 조건에서 이 방법은 얼마나 견고한가?

주요 결과

• 제안된 파이프라인은 세 가지 표준 6차원 자세 추정 벤치마크에서 기존 최신 기술 수준의 RGB 기반 방법을 모두 능가한다.
• 다중주의 자세 보정 네트워크(MARN)는 시각적 및 유량 특징을 효과적으로 활용하여 자세 정확도를 크게 향상시킨다.
• 공간 다중주의 블록은 물체의 특징적인 부분에 초점을 맞춰 성능을 향상시키며, 특징의 구분 능력을 향상시킨다.
• 이 방법은 경쟁적인 런타임 성능을 달성하여 실시간 응용에 적합하다.
• 제거 분석을 통해 각 구성 요소의 효과성이 확인되었으며, 특히 보정 단계에서 유량과 시각적 특징의 융합이 효과적임을 입증한다.
• 이 파이프라인은 다양한 물체 카테고리와 도전적인 시나리오 조건에서도 강력한 일반화 능력을 보여준다.