[논문 리뷰] Convolutional Models for Joint Object Categorization and Pose Estimation

Mohamed Elhoseiny, Tarek El-Gaaly외 2명|arXiv (Cornell University)|2015. 11. 16.

Advanced Neural Network Applications참고 문헌 37인용 수 11

한 줄 요약

이 논문은 시각 불변성과 시각 변동성을 동시에 고려하는 조합된 객체 분류 및 3D 자세 추정을 위한 새로운 CNN 기반 프레임워크를 제안한다. 초기 및 후기 분기 아키텍처를 활용하여 시각 불변성과 시각 변동성 표현 간의 균형을 맞춘다. 여러 CNN 레이어의 특징 맵을 분석함으로써 얕고 중간 수준의 레이어가 자세 민감성 정보를 유지함을 입증한다. 공유 및 작업별 브랜치를 사용한 엔드 투 엔드 훈련을 통해 Pascal3D+ 및 RGBD 데이터셋에서 최신 기술 성능을 달성한다.

ABSTRACT

In the task of Object Recognition, there exists a dichotomy between the categorization of objects and estimating object pose, where the former necessitates a view-invariant representation, while the latter requires a representation capable of capturing pose information over different categories of objects. With the rise of deep architectures, the prime focus has been on object category recognition. Deep learning methods have achieved wide success in this task. In contrast, object pose regression using these approaches has received relatively much less attention. In this paper we show how deep architectures, specifically Convolutional Neural Networks (CNN), can be adapted to the task of simultaneous categorization and pose estimation of objects. We investigate and analyze the layers of various CNN models and extensively compare between them with the goal of discovering how the layers of distributed representations of CNNs represent object pose information and how this contradicts with object category representations. We extensively experiment on two recent large and challenging multi-view datasets. Our models achieve better than state-of-the-art performance on both datasets.

연구 동기 및 목표

• 깊은 CNN이 시각 불변성과 시각 변동성 표현 간의 본질적 모순에도 불구하고 동시에 객체 분류 및 3D 자세 추정에 효과적으로 적용될 수 있는지 조사하기 위해.
• 다른 CNN 레이어가 자세 정보를 어떻게 표현하는지, 그리고 이와 분류 목표 간의 갈등이 어떻게 발생하는지 분석하기 위해.
• 특히 초기 분기와 후기 분기 아키텍처를 비교하여 두 작업 간 균형을 이루는 능력을 평가하기 위해.
• 다양한 객체 카테고리와 자세 분포를 가진 두 개의 대규모 다중 시점 데이터셋에서 제안된 모델을 검증하기 위해.

제안 방법

• 저자는 공유 컨볼루션 레이어를 포함한 다중 브랜치 CNN 아키텍처를 설계하였으며, 이는 분류 및 자세 추정을 위한 작업별 브랜치로 구성된다.
• 세 가지 변형을 실험하였다: 단일 브랜치 모델(PM), 후기 분기 모델(LBM), 초기 분기 모델(EBM)으로, EBM는 사전 훈련된 분류 특징에 의해 편향되지 않도록 자세 전용 레이어를 무작위로 초기화한다.
• 공동 손실 함수를 사용하여 두 데이터셋인 Pascal3D+ 및 RGBD에서 엔드 투 엔드로 모델을 미세 조정한다.
• FC7까지의 다양한 레이어에서의 특징 표현을 분석하여 자세 정보가 가장 구분 가능한 위치와 분류 정보가 가장 불변적인 위치를 식별한다.
• 전이 학습을 적용하지만, 저자는 분류 최적화된 가중치로 자세 브랜치를 초기화하면 성능이 떨어지며, 이는 상충되는 표현 목표 때문이라고 주장한다.
• 분기 깊이와 네트워크 너비에 대한 추론 실험을 포함하여, 데이터셋 간 계층별 성능을 정량적으로 비교한다.

실험 결과

연구 질문

• RQ1 시각 불변성과 시각 변동성 간의 충돌적인 요구 사항에도 불구하고 CNN이 동시에 객체 분류 및 3D 자세 추정에 효과적으로 적용될 수 있는가?
• RQ2 사전 훈련된 CNN의 어떤 레이어가 자세 민감성 특징을 가장 잘 유지하는가? 이는 다양한 시점 분포를 가진 데이터셋 간에 어떻게 달라지는가?
• RQ3 분류 최적화된 네트워크에서 유도된 가중치로 자세 전용 레이어를 초기화하면 자세 추정 성능이 떨어지는가? 만약 그렇다면 그 이유는 무엇인가?
• RQ4 분기 전략(초기 vs. 후기)의 선택이 정확한 분류와 강력한 자세 추정 간의 균형에 어떤 영향을 미치는가?
• RQ5 공유 및 작업별 브랜치를 사용한 엔드 투 엔드 훈련이 사전 훈련된 특징을 재사용하는 전이 학습 접근법을 능가할 수 있는가?

주요 결과

• 초기 분기 모델(EBM)은 Pascal3D+ 및 RGBD 데이터셋 모두에서 최신 기술 성능을 달성하며, 기준 모델 및 다른 CNN 변종보다 뛰어난 성능을 보였다.
• EBM는 특히 더 도전적인 자연 이미지 기반의 Pascal3D+ 데이터셋에서 후기 분기 모델(LBM)과 단일 브랜치 모델(PM)보다 자세 추정 정확도를 크게 향상시켰다.
• LBM의 성능은 깊은 레이어에서 객체 시점 다각형의 붕괴로 인해 Pascal3D+에서 저하되었으며, 이는 후속 레이어에서 자세 구분 정보가 제대로 유지되지 않음을 시사한다.
• PM와 같이 사전 훈련된 분류 전용 가중치로 자세 전용 레이어를 초기화하면 자세 추정 성능이 떨어지며, 이는 시각 불변 표현이 자세 회귀에 부적합함을 확인한다.
• 얕고 중간 수준의 레이어(Fc7 이전 등)는 깊은 레이어보다 자세 민감성 특징을 더 잘 유지하며, 특히 흐린 시점 또는 자연 시점이 많은 데이터셋에서 그러하다.
• 분석 결과, 초기에 분기함으로써 분류와 자세 추정 간 최적의 균형을 달성할 수 있으며, 이는 상충되는 사전 훈련 목표로부터 간섭 없이 작업별로 구분 가능한 특징을 학습할 수 있기 때문이다.