[논문 리뷰] Target Driven Instance Detection

Phil Ammirato, Cheng-Yang Fu외 3명|arXiv (Cornell University)|2018. 03. 13.

Advanced Neural Network Applications참고 문헌 48인용 수 17

한 줄 요약

이 논문은 타겟 기반 임베딩을 학습하여 장면 내 특징과 타겟 객체 이미지를 비교함으로써 인스턴스 수준의 인식을 위한 최신 기술 수준의 객체 검출기 성능을 햖थन하는 새로운 방법인 타겟 드리븐 인스턴스 검출(TDID)을 제안한다. TDID는 재학습 없이도 새로운 인스턴스에 대해 강력한 성능을 발휘하며, AVD 및 GMU Kitchens와 같은 도전적인 데이터셋에서 일반 검출기와 전통적인 인식 방법을 모두 능가한다.

ABSTRACT

While state-of-the-art general object detectors are getting better and better, there are not many systems specifically designed to take advantage of the instance detection problem. For many applications, such as household robotics, a system may need to recognize a few very specific instances at a time. Speed can be critical in these applications, as can the need to recognize previously unseen instances. We introduce a Target Driven Instance Detector(TDID), which modifies existing general object detectors for the instance recognition setting. TDID not only improves performance on instances seen during training, with a fast runtime, but is also able to generalize to detect novel instances.

연구 동기 및 목표

• 소규모 훈련 예제만 제공되는 실세계 로봇 응용 프로그램에서 특정 객체 인스턴스를 검출하는 문제를 해결하기 위해.
• 재학습 또는 미세조정 없이도 새로운, 이전에 본 적이 없는 객체 인스턴스로 일반화할 수 있도록 하기 위해.
• 가정 및 로봇 환경에서의 소형, 부분적으로 가림당하거나 혼잡한 인스턴스의 검출 성능을 향상시키기 위해.
• 딥 러닝을 활용하여 인스턴스 검출을 향상시키면서도 실시간 로봇 응용에 적합한 빠른 추론을 유지하기 위해.
• 직접적으로 인스턴스 고유성을 모델링함으로써 카테고리 수준의 검출과 인스턴스 수준의 인식 사이의 격차를 메우기 위해.

제안 방법

• TDID는 Faster R-CNN 기반 아키텍처에 타겟 드리븐 임베딩 모듈을 통합하여, 장면 및 타겟 특징 추출기 간에 가중치를 공유한다.
• 장면 이미지의 특징과 타겟 이미지의 특징 간의 공동 임베딩을 계산하여 각 공간 위치에서의 유사도를 평가한다.
• 검출 헤드는 임bedded 유사도 점수를 사용하여 바운딩 박스를 예측하며, 검출을 이진 매칭 작업(타겟 대비 비타겟)으로 간주한다.
• 훈련 데이터는 실세계 데이터셋(AVD, NYUD2, BigBird, RGB-D Objects)을 사용하여 합성하고, 합성된 객체 배치를 통한 데이터 증강 기법을 적용한다.
• 다중 소스 사전 훈련 전략은 AVD, BigBird, RGB-D Objects, RGB-D Scenes, ImageNet VID의 데이터를 결합하여 일반화 능력을 향상시킨다.
• 학습은 150,000 반복 동안 엔드 투 엔드로 수행되며, 학습률 0.0005를 사용하고, 데이터 증강 및 타겟 및 장면 이미지 쌍의 무작위 샘플링을 적용한다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 검출기가 어떤 미세조정이나 재학습 없이도 새로운 객체 인스턴스를 일반화하여 검출할 수 있는가?
• RQ2 타겟 드리븐 임베딩의 성능은 전통적인 카테고리 수준의 검출기 및 수작업 특징 방법에 비해 인스턴스 검출 작업에서 어떻게 비교되는가?
• RQ3 다양한 가정용 물체로 훈련된 검출기가 실세계의 혼잡한 환경에서 새로운 인스턴스로 일반화할 수 있는 정도는 어느 정도인가?
• RQ4 타겟 및 장면 특징 간의 유사도 기반 비교를 학습함으로써 소형 또는 부분적으로 가려진 인스턴스의 검출 정확도가 향상되는가?
• RQ5 최소한의 아키텍처 변경으로 일반 검출에서 인스턴스 전용 검출로 지식을 효과적으로 전이할 수 있는 통합 아키텍처가 가능한가?

주요 결과

• TDID는 객체당 두 장의 예제 이미지만 사용하여 GMU Kitchens 데이터셋에서 소수의 예제 인스턴스 검출에 대해 48.2 mAP를 달성하며, 재학습 없이도 새로운 인스턴스로 일반화한다.
• Active Vision Dataset(AVD)에서 TDID는 표준 Faster R-CNN 및 전통적인 템플릿 매칭 방법을 능가하며, 특히 소형 및 부분적으로 가려진 인스턴스에서 뛰어난 성능을 보인다.
• TDID는 단일 샘플 분류 작업에서 뛰어난 성능을 보이며, 수작업 특징 및 원샷 학습 베이스라인을 포함한 다양한 이전 방법들을 능가한다.
• 모델은 다양한 객체 크기에서 강력한 성능을 유지하지만, 매우 작은 바운딩 박스에서는 정확도가 약간 감소하며, 이는 소형 객체 검출의 도전 과제와 일치한다.
• TDID는 동일한 도메인(예: 가정용/식료품 물체)의 객체로는 효과적으로 일반화되지만, 완전히 다른 도메인으로의 일반화 능력은 여전히 제한되어 있다.
• 이 방법은 높은 추론 속도를 유지하며 온라인 적응이 필요 없어 실시간 로봇 응용에 적합하다.