[논문 리뷰] Few-Shot Viewpoint Estimation

Hung-Yu Tseng, Shalini De Mello외 5명|arXiv (Cornell University)|2019. 05. 13.

Advanced Image Processing Techniques참고 문헌 42인용 수 7

한 줄 요약

이 논문은 메타학습과 새로운 메타-시아모닉 네트워크를 활용하여, 새로운 카테고리당 1~10장의 레이블이 부여된 이미지에서 3D 표준 관점 키포인트, 그 2D 투영, 그리고 깊이 값을 추정하는 소수의 샘플을 기반으로 한 시점 추정 프레임워크인 MetaView를 소개한다. 이 방법은 ObjectNet3D와 Pascal3D+에서 최신 기술 모델을 미세조정하는 것보다 뛰어난 성능을 보이며, 최소한의 주석 작업으로도 최신 기술 성능을 달성한다.

ABSTRACT

Viewpoint estimation for known categories of objects has been improved significantly thanks to deep networks and large datasets, but generalization to unknown categories is still very challenging. With an aim towards improving performance on unknown categories, we introduce the problem of category-level few-shot viewpoint estimation. We design a novel framework to successfully train viewpoint networks for new categories with few examples (10 or less). We formulate the problem as one of learning to estimate category-specific 3D canonical shapes, their associated depth estimates, and semantic 2D keypoints. We apply meta-learning to learn weights for our network that are amenable to category-specific few-shot fine-tuning. Furthermore, we design a flexible meta-Siamese network that maximizes information sharing during meta-learning. Through extensive experimentation on the ObjectNet3D and Pascal3D+ benchmark datasets, we demonstrate that our framework, which we call MetaView, significantly outperforms fine-tuning the state-of-the-art models with few examples, and that the specific architectural innovations of our method are crucial to achieving good performance.

연구 동기 및 목표

• 기존의 딥러닝 기법이 충분한 훈련 데이터가 부족하여 실패하는 알려지지 않은 객체 카테고리에 대한 시점 추정 문제를 해결하기 위해.
• 카테고리당 10장 이하의 레이블이 부여된 예시로도 효과적인 소수의 샘플 적응을 가능하게 하여 새로운 카테고리로의 일반화 능력을 향상시키기 위해.
• 새로운 카테고리에서 빠른 미세조정이 가능한 최적의 초기화 가중치를 학습하는 메타학습 프레임워크를 설계하기 위해.
• 다양한 수의 키포인트를 지원할 수 있는 융통성 있고 정보 공유 기능이 강화된 아키텍처를 개발하여 소수의 샘플 일반화 능력을 향상시키기 위해.

제안 방법

• 소수의 이미지에서 카테고리별 3D 표준 형태, 2D 키포인트 투영, 깊이 값을 추정하는 문제를 학습으로 정의한다.
• 소수의 샘플 미세조정 중 새로운 카테고리로 잘 일반화되는 초기화 가중치를 학습하기 위해 메타학습을 활용한다.
• 메타학습 기간 동안 지원 이미지 간의 최대한의 특징 공유를 달성하기 위해 메타-시아모닉 아키텍처를 도입한다.
• 미세조정 후 키포인트 히트맵이 날카롭고 국소화되도록 유도하기 위해 농도 손실 항목 $ L_{con} $ 을 사용한다.
• 다양한 객체 카테고리에 걸쳐 강건성과 일반화 능력을 향상시키기 위해 다점 히트맵을 입력으로 처리한다.
• 카테고리당 키포인트 수에 따라 네트워크 아키텍처를 동적으로 조정하여 다양한 수의 키포인트를 지원함으로써 융통성 있는 소수의 샘플 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 메타학습은 알려지지 않은 객체 카테고리에 대한 소수의 샘플 시점 추정에 효과적으로 적용될 수 있는가?
• RQ2 메타-시아모닉 네트워크 설계는 소수의 샘플 키포인트 검출에서 정보 공유와 성능 향상에 어떻게 기여하는가?
• RQ3 농도 손실 항목이 소수의 샘플 미세조정 기간 동안 키포인트 정렬 정확도를 어느 정도 향상시키는가?
• RQ4 다양한 수의 키포인트를 처리할 수 있는 능력이 소수의 샘플 설정에서 다양한 객체 카테고리 간의 일반화 능력을 향상시키는가?

주요 결과

• MetaView는 ObjectNet3D와 Pascal3D+에서 카테고리당 1~10장의 샘플로도 최신 기술 모델(예: StarMap)을 미세조정한 것보다 뛰어난 성능을 보이며, 최신 기술 성능을 달성한다.
• 내부 데이터셋 실험에서 MetaView는 10장의 샘플로 평균 오차 31.5° ± 0.72를 기록하여 베이스라인 및 StarMap* + MAML보다 뚜렷이 뛰어난 성능을 보였다.
• 절단 실험을 통해 메타-시아모닉 설계와 농도 손실 항목이 성능 향상에 가장 기여하는 것으로 확인되었으며, 메타-시아모닉 설계만으로도 비-시아모닉 베이스라인 대비 오차를 10° 이상 감소시켰다.
• 더 작은 백본을 사용함에도 불구하고 MetaView는 알려지지 않은 카테고리에서 이전 최신 기술 성능을 초월하여 효율성과 효과성을 입증하였다.
• 정성적 결과에서는 소수의 샘플 미세조정 후 키포인트 히트맵이 관련 객체 부위에 날카럽게 국소화되는 것을 확인하여 성공적인 적응을 나타냈다.
• 성능은 샘플 수가 증가할수록 단조롭게 향상되며, 평균 오차는 1장일 때 55.2°에서 10장일 때 31.5°로 감소하여 더 많은 예시가 있을수록 스케일이 잘 되는 것을 확인했다.