[논문 리뷰] Pose Induction for Novel Object Categories

Shubham Tulsiani, João Carreira외 1명|arXiv (Cornell University)|2015. 05. 01.

Image and Object Detection Techniques참고 문헌 36인용 수 6

한 줄 요약

이 논문은 품목의 레이블이 부여된 클래스 수가 적은 시드 세트만을 사용하여 새로운 종류의 물체에 대한 3D 자세를 예측하는 자세 유도 시스템을 제안한다. 일관된 3D 기준 프레임에 맞춰진 학습용 클래스들로부터 일반화된 자세 예측기를 학습하고, 여러 개체의 예측을 동시에 개선함으로써, 관건점 레이블이 없이도 신뢰할 수 있는 자세 추정을 달성한다. 이는 오직 실루엣 이미지로부터만 종료형 모델 학습이 가능하게 하며, 최소한의 감독 정보로도 새로운 종류의 물체에서 최신 기술 성능을 달성한다.

ABSTRACT

We address the task of predicting pose for objects of unannotated object categories from a small seed set of annotated object classes. We present a generalized classifier that can reliably induce pose given a single instance of a novel category. In case of availability of a large collection of novel instances, our approach then jointly reasons over all instances to improve the initial estimates. We empirically validate the various components of our algorithm and quantitatively show that our method produces reliable pose estimates. We also show qualitative results on a diverse set of classes and further demonstrate the applicability of our system for learning shape models of novel object classes.

연구 동기 및 목표

• 각 새로운 종류의 클래스에 대해 수동적인 자세 레이블을 요구하지 않고도 자세 예측을 가능하게 하기 위해.
• 시각적 및 구조적 유사성을 기반으로 자세 지식을 다양한 물체 종류 간에 전이할 수 있는 일반화된 분류기 개발을 위해.
• 새로운 종류의 물체에 대해 동일한 클래스의 여러 인스턴스를 함께 고려하여 初기 자세 추정을 향상시키기 위해.
• 자세 유도가 관건점 레이블 없이도 3D 형태 모델 학습을 가능하게 하여 고비용 3D 감독의 의존도를 줄일 수 있음을 입증하기 위해.

제안 방법

• 3D 로테이션을 사용하여 일관된 3D 기준 프레임에 맞춰진 작은 수의 레이블이 부여된 물체 종류를 기반으로 일반화된 자세 예측기를 학습한다.
• 시점 다양체의 조밀한 이산화를 사용하여 서로 다른 물체 종류 간의 형태를 암묵적으로 정렬함으로써, 다양한 종류 간의 일반화를 가능하게 한다.
• 학습된 일반화된 분류기를 사용하여 단일 새로운 인스턴스에 대한 초기 자세 가설을 도출한다.
• 동일한 새로운 종류의 여러 인스턴스 간에 공동 최적화 프레임워크를 사용하여 자세 예측을 함께 개선함으로써 일致성과 정확도를 향상시킨다.
• 정확한 관건점이 아닌 유도된 자세 추정치를 사용하여 형태 모델링을 위한 투영 매개변수(회전, 스케일, 이동)를 초기화한다.
• 형태 일致성, 매끄러움, 소규모 변형을 강제하는 에너지 함수를 사용하여 실루엣 데이터와 함께 형태 모델을 최적화하고, 동시에 투영 매개변수를 공동으로 개선한다.

실험 결과

연구 질문

• RQ1 몇몇 레이블이 부여된 물체 종류에서 학습한 모델이 완전히 새로운, 레이블이 없는 종류의 물체로 자세 예측을 일반화할 수 있는가?
• RQ2 동일한 새로운 종류의 물체에 대해 여러 인스턴스를 함께 고려할 경우, 단일 인스턴스 예측과 비교해 자세 추정 정확도가 어떻게 향상되는가?
• RQ3 자세 유도가 3D 형태 모델링에서 관건점 레이블을 대체할 수 있는가? 실루엣 이미지만으로도 형태 모델 학습이 가능한가?
• RQ4 이 방법이 ImageNet과 같은 실제 데이터셋에서 다양한, 예측되지 않은 물체 종류에 대해 얼마나 잘 일반화되는가?

주요 결과

• 단일 인스턴스만으로도 신뢰할 수 있는 자세 추정을 달성하며, 여러 인스턴스를 함께 고려할 경우 성능이 크게 향상된다.
• 실루엣 레이블과 유도된 자세 추정치만을 사용하여도, 전체 관건점 레이블이 부여된 모델과 정량적·정성적으로 유사한 형태 모델을 학습한다.
• 가장 확신도가 높은 자세 유도 예측의 부분집합은 형태 모델링에서 더 높은 정밀도를 보이며, 시스템 출력의 신뢰성을 입증한다.
• 유도된 자세를 사용하여 학습한 자전거 형태 모델은 전체 레이블이 부여된 모델과 거의 일치하며, 실생활 적용 가능성의 타당성을 검증한다.
• 이 방법은 다양한 ImageNet 종류에 대해 일반화되며, 대규모 실생활 물체 종류에 대한 강건성과 확장성을 입증한다.