[논문 리뷰] Object Pose Estimation using Mid-level Visual Representations

Negar Nejatishahidin, Pooya Fayyazsanavi외 1명|arXiv (Cornell University)|2022. 03. 02.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 레이블이 적은 데이터로도 일반화 성능을 향상시키기 위해 사전 훈련된 중위 뷰 표현—표면 법선 및 재조명—을 활용하는 새로운 6D 객체 자세 추정 방법을 제안한다. 객체 마스크와 실루엣 검색을 기반으로 경량 CNN을 미세 조정함으로써, Pix3D 데이터셋의 25%만으로도 이전 방법보다 35% 높은 정확도를 달성하며, 도전적인 Active Vision Dataset (AVD)에 대해 강력한 제로샷 전이 성능을 보여준다.

ABSTRACT

This work proposes a novel pose estimation model for object categories that can be effectively transferred to previously unseen environments. The deep convolutional network models (CNN) for pose estimation are typically trained and evaluated on datasets specifically curated for object detection, pose estimation, or 3D reconstruction, which requires large amounts of training data. In this work, we propose a model for pose estimation that can be trained with small amount of data and is built on the top of generic mid-level representations \cite{taskonomy2018} (e.g. surface normal estimation and re-shading). These representations are trained on a large dataset without requiring pose and object annotations. Later on, the predictions are refined with a small CNN neural network that exploits object masks and silhouette retrieval. The presented approach achieves superior performance on the Pix3D dataset \cite{pix3d} and shows nearly 35\% improvement over the existing models when only 25\% of the training data is available. We show that the approach is favorable when it comes to generalization and transfer to novel environments. Towards this end, we introduce a new pose estimation benchmark for commonly encountered furniture categories on challenging Active Vision Dataset \cite{Ammirato2017ADF} and evaluated the models trained on the Pix3D dataset.

연구 동기 및 목표

• 새로운 환경에 배포될 때 딥러닝 기반 6D 객체 자세 추정의 낮은 일반화 성능 문제를 해결한다.
• 포즈가 레이블링된 대규모 데이터셋에 대한 의존도를 줄이기 위해, 프록시 작업에서 훈련된 일반적인 중위 표현을 활용한다.
• 객체 마스크와 실루엣 검색을 통합한 중위 특징과 보정 단계를 결합하여 최소한의 감독으로 효과적인 자세 추정을 가능하게 한다.
• Active Vision Dataset (AVD)를 활용해 실세계의 도전적인 실내 환경에 대한 제로샷 전이 성능을 평가하는 새로운 벤치마크를 수립한다.

제안 방법

• 포즈나 객체 레이블이 없는 대규모 데이터셋에서 표면 법선 추정 및 재조명을 위한 중위 표현 네트워크를 사전 훈련한다.
• 사전 훈련된 중위 표현 특징을 자세 추정의 기반으로 사용하여 원시 픽셀에서의 엔드 투 엔드 훈련을 피한다.
• 객체 마스크와 실루엣 맵만을 감독 신호로 사용하여 중위 표현 위에 경량 CNN을 미세 조정한다.
• 예측된 실루엣과 진짜 실루엣 간의 유사도를 활용한 검색 기반 보정 단계를 구현하여 자세 분류 성능을 향상시킨다.
• 두 단계 훈련 방식으로 전체 파이프라인을 학습한다: 먼저 중위 표현 특징을 추출하고, 그 다음 분류기가 이산적인 아즈임스 및 엘레베이션 박스를 예측한다.
• Pix3D에서 훈련된 모델을 AVD 데이터셋에 그대로 테스트하여 적응 또는 미세 조정 없이 제로샷 전이 성능을 평가한다.

Figure 1 : Active Vision Dataset [ 1 ] pose estimation benchmark challenges; many objects are highly occluded (e.g. the first two rows), large lighting variations, glassy objects (the third row), and truncated viewpoints (last row). These challenges affect both computation of mid-level representatio

실험 결과

연구 질문

• RQ1 표면 법선, 재조명 등의 프록시 작업에서 훈련된 중위 뷰 표현이 6D 객체 자세 추정에 효과적이고 일반화 가능한 특징으로 기능할 수 있는가?
• RQ2 객체 마스크와 실루엣만으로 훈련된 경량 보정 네트워크가 자세 추정 정확도를 얼마나 향상시킬 수 있는가?
• RQ3 특히 훈련 데이터의 25%만 사용할 경우, 저자료 환경에서 제안된 방법의 성능은 어떠한가?
• RQ4 오염, 조명 변화, 잘린 시야와 같은 도전적인 조건을 가진 새로운 실세계 환경으로 일반화가 효과적으로 이루어지는가?

주요 결과

• 제안된 모델는 Pix3D 훈련 데이터의 25%만으로도 기존 모델보다 35% 높은 정확도를 달성하여 뛰어난 데이터 효율성을 입증한다.
• Pix3D 데이터셋에서 모델는 Mousavian 등 [17]의 결과를 초월하고, 특히 1.5° 겹침이 있는 13-박스 설정에서 기존 Pix3D 베이스라인보다 뛰어난 성능을 기록한다.
• AVD 벤치마크에서 모델는 평균 46.22%의 정확도를 기록하며, ResNet_baseline보다 10.56%포인트 높은 성능을 보여 제로샷 일반화 능력이 뛰어나다는 것을 입증한다.
• 모델의 성능은 객체 마스크 품질에 크게 영향을 받으며, 고도로 오염되거나 잘린 시야에서는 성능 저하가 관찰된다.
• 실루엣 검색을 활용한 보정 단계는 기본 중위 표현 특징 모델보다 성능 향상을 이끌어내어 이중 단계 설계의 효과성을 확인한다.
• 실세계의 새로운 환경으로의 일반화 능력이 뛰어나며, 이는 AVD에서의 강력한 성능을 통해 입증된다. 이는 이 데이터에 대해 훈련하지 않은 상태에서도 성능이 유지됨을 의미한다.

Figure 2 : Network Architecture. First stage: up-sampled and fused mid-level feature maps (not the actual normal and re-shading images) are used to predict azimuth and elevation. Second stage: The object mask and mid-level features are compared with the top three object D-masks corresponding to most