[논문 리뷰] Siamese Regression Networks with Efficient mid-level Feature Extraction for 3D Object Pose Estimation

Andreas Doumanoglou, Vassileios Balntas외 2명|arXiv (Cornell University)|2016. 07. 08.

Human Pose and Action Recognition참고 문헌 22인용 수 42

한 줄 요약

이 논문은 3차원 물체 자세 각도를 직접 회귀하기 위해 유사도를 특성 공간과 자세 공간 표현 간에 강제하는 새로운 손실 함수를 활용한 엔드 투 엔드 딥 러닝 프레임워크인 Siamese Regression Networks를 제안한다. 이 방법은 자세 추정을 위해 최적화된 분별성 있는 특징을 학습하며, 새로 제작한 손-물체 데이터셋에서 심각한 가림을 포함한 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper we tackle the problem of estimating the 3D pose of object instances, using convolutional neural networks. State of the art methods usually solve the challenging problem of regression in angle space indirectly, focusing on learning discriminative features that are later fed into a separate architecture for 3D pose estimation. In contrast, we propose an end-to-end learning framework for directly regressing object poses by exploiting Siamese Networks. For a given image pair, we enforce a similarity measure between the representation of the sample images in the feature and pose space respectively, that is shown to boost regression performance. Furthermore, we argue that our pose-guided feature learning using our Siamese Regression Network generates more discriminative features that outperform the state of the art. Last, our feature learning formulation provides the ability of learning features that can perform under severe occlusions, demonstrating high performance on our novel hand-object dataset.

연구 동기 및 목표

• 각도 공간에서 직접 3차원 물체 자세 회귀에 도전하는 것. 이는 局부 최소값과 엔드 투 엔드 학습 프레임워크 부족으로 인해 어려운 과제이다.
• 시amese 아키텍처를 통해 특징과 자세 회귀를 공동 최적화함으로써 3차원 자세 추정을 위한 특징의 분별성을 향상시키는 것.
• 실제 세계에서 흔한 과제인 심각한 가림에 대한 내성을 향상시키기 위해 손실 함수를 수정하여 부분적인 물체 가림을 처리하도록 하는 것.
• 물체가 인간의 손에 의해 크게 가려진 도전적인 손-물체 가림 데이터셋에서 방법을 평가하는 것.
• 엔드 투 엔드 학습과 작업 특화된 특징 최적화를 통해 기존 최신 기술 수준의 방법들, 특히 [25]를 초월하여 청소하고 가려진 환경 모두에서 성능을 높이는 것.

제안 방법

• 프레임워크는 두 개의 이미지 입력을 처리하여 그들의 특징 표현 간 유사성 제약을 강제하는 시amese 네트워크 아키텍처를 사용한다.
• 특성 임bedding과 자세 예측 간의 거리 최소화를 목표로 하는 새로운 손실 함수를 도입하여 특성 공간과 자세 공간 양쪽에서 정렬을 촉진한다.
• 분리된 특징 추출 또는 템플릿 매칭 단계 없이도 엔드 투 엔드로 3차원 자세를 직접 회귀하도록 네트워크를 훈련한다.
• 손실 함수에 가림 인식 항목을 포함시켜 부분적인 물체 가림에 견딜 수 있는 특징을 학습할 수 있도록 수정한다.
• 특징 정규화와 배치 형성의 실험적 평가를 통해 회귀 성능을 최적화한다.
• LINEMOD 벤치마크와 새로운 손-물체 가림 데이터셋에서 방법을 평가하며, 특징 크기와 아키텍처 구성 요소에 대한 분석 연구를 실시한다.

실험 결과

연구 질문

• RQ1 시amese 네트워크 아키텍처가 각도 공간에서 직접 3차원 자세 회귀에 효과적으로 적용될 수 있는가? 간접적 또는 이중 단계 접근 방식을 피할 수 있는가?
• RQ2 특성 공간과 자세 공간 표현 간의 유사성 강제가 더 분별성 있는 특징을 만들어내어 회귀 정확도를 향상시키는가?
• RQ3 제안된 손실 함수가 인간의 손에 의한 가림과 같은 심각한 가림 상황에서도 내성을 향상시키는 데 확장 가능한가?
• RQ4 특징 학습 후 최근접 이웃 매칭을 수행하는 것과 비교할 때, 특징과 자세의 엔드 투 엔드 학습 방식이 정확도와 일반화 능력 측면에서 더 우수한가?
• RQ5 극심한 가림 상황에서 네트워크 성능이 얼마나 떨어지는가? 그리고 합성 가림 이미지를 사용한 데이터 증강이 내성성을 추가로 향상시킬 수 있는가?

주요 결과

• 제안된 Siamese Regression Network는 LINEMOD 벤치마크에서 최신 기술 수준의 성능을 달성하여, [25]의 평균 자세 오차 13.2° 대비 11.4°로 향상된 성능을 보였다.
• 새로운 손-물체 가림 데이터셋에서 평균 자세 오차는 11.8°를 기록했으며, 비가림 상태의 LINEMOD 데이터(14.5°) 수준에 가까워졌고, 베이스라인 [25]의 13.2°를 초월하였다.
• 더 큰 가림 데이터셋에서 엔드 투 엔드 회귀 방식은 최근접 이웃 기반 베이스라인보다 유의미하게 성능이 뛰어나, 더 나은 일반화 능력과 과적합 감소를 보였다.
• 특징 크기 실험 결과, 32개 이상에서는 성능이 포화 상태에 도달함을 확인했으며, 이는 이전 연구와 일치하지만, 제안된 방법은 모든 크기에서 뛰어난 정확도를 달성하였다.
• 훈련 시 합성 가려진 이미지를 포함시킴으로써 자세 오차가 추가로 감소하여, 가림 모델링을 통한 데이터 증강의 효과를 입증하였다.
• 이 방법은 가림에 대해 강력한 내성을 보이며, 손-물체 데이터셋에서 비가림 데이터 수준의 성능을 달성하여, 가림 인식 손실의 효과성을 검증하였다.