[논문 리뷰] Continual egocentric object recognition

Luca Erculiani, Fausto Giunchiglia외 1명|arXiv (Cornell University)|2019. 12. 06.

Advanced Image and Video Retrieval Techniques참고 문헌 36인용 수 5

한 줄 요약

이 논문은 시간적 및 공간적 지속성, 유사도 기반 인식, 온라인 주도적 학습을 활용하여 최소한의 사용자 감독으로 개방형, 인스턴스 수준의 인식을 가능하게 하는 메모리 기반 점진적 프레임워크인 Follower을 제안한다. 희박한 피드백 조건에서도 새로운 객체를 높은 정확도로 인식하고 재식별할 수 있음을 보여주며, 레이블 데이터에 대한 의존도를 줄이기 위한 발달 학습과 지속성의 효과를 입증한다.

ABSTRACT

We present a framework capable of tackilng the problem of continual object recognition in a setting which resembles that under whichhumans see and learn. This setting has a set of unique characteristics:it assumes an egocentric point-of-view bound to the needs of a singleperson, which implies a relatively low diversity of data and a coldstart with no data; it requires to operate in an open world, where newobjects can be encounteredat any time; supervision is scarce and hasto be solicited to the user, and completelyunsupervised recognitionof new objects should be possible. Note that this setting differs fromthe one addressed in the open world recognition literature, where supervised feedback is always requested to be able to incorporate newobjects. We propose a first solution to this problem in the form ofa memory-based incremental framework that is capable of storinginformation of each and any object it encounters, while using the supervision of the user to learn to discriminate between known and unknown objects. Our approach is based on four main features: the useof time and space persistence (i.e., the appearance of objects changesrelatively slowly), the use of similarity as the main driving principlefor object recognition and novelty detection, the progressive introduction of new objects in a developmental fashion and the selectiveelicitation of user feedback in an online active learning fashion. Experimental results show the feasibility of open world, generic objectrecognition, the ability to recognize, memorize and re-identify newobjects even in complete absence of user supervision, and the utilityof persistence and incrementality in boosting performance.

연구 동기 및 목표

• 데이터가 다양성이 낮고 스트리밍되는 조건에서 감독이 부족한 엑오세트릭 환경에서 지속적인 개방형 객체 인식의 과제를 해결하기 위해.
• 사전 지식이나 사용자 피드백 없이도 새로운 객체의 인스턴스 수준의 인식과 재식별을 가능하게 하기 위해.
• 주도적 학습과 발달 학습 전략을 통해 인간 감독에 대한 의존도를 줄이기 위해.
• 인간의 시각 학습을 모방하는 방식으로 객체 인식을 모델링하여 지속성과 점진적 학습을 강조하기 위해.
• 재난적 망각을 방지하면서도 시간이 지남에 따라 새로운 객체를 기억하고 인식할 수 있는 시스템을 개발하기 위해.

제안 방법

• 이 프레임워크는 시간적 및 공간적 지속성을 활용하여 프레임 간 안정적인 시각적 불변성을 식별함으로써 강력한 객체 추적 및 인식을 가능하게 한다.
• 기존 객체의 분류와 새로운 객체의 탐지에 대해 사전 애너테이션 없이도 유사도 기반 메트릭 학습 방식을 적용한다.
• 발달 학습 전략을 통해 점진적으로 새로운 객체를 도입하며, 높은 지속성과 독창성을 가진 객체를 우선순위로 삼는다.
• 사용자 피드백은 불확실성이 높을 때만 온라인 주도적 학습을 통해 선택적으로 유도되며, 감독 부담을 최소화한다.
• 모든 만난 객체의 메모리를 유지하여 특징과 임베딩을 저장함으로써 점진적 검색 및 재식별을 가능하게 한다.
• 랜덤 대비 발달 전략을 비교할 수 있도록 이중 훈련 및 평가 정책을 도입하여, 훈련 순서가 성능에 미치는 영향을 분석할 수 있다.

실험 결과

연구 질문

• RQ1 최소한의 사용자 감독으로 엑오세트릭 환경에서 개방형, 인스턴스 수준의 객체 인식을 달성할 수 있는가?
• RQ2 지속성과 유사도의 사용이 지속적 학습 환경에서 인식 성능을 어떻게 향상시키는가?
• RQ3 발달 학습 전략이 인간 애너테이션 데이터의 필요성을 얼마나 줄일 수 있는가?
• RQ4 훈련 예제의 순서가 낮은 감독 환경에서 인식 및 클러스터링 성능에 어떤 영향을 미치는가?
• RQ5 첫 번째 등장 시 사용자 피드백이 전혀 제공되지 않더라도 시스템이 새로운 객체를 기억하고 재식별할 수 있는가?

주요 결과

• 개발 전략으로 훈련 및 평가할 경우, 무작위 순서 대비 최대 100% 높은 인스턴스 정확도(AIA)를 기록한다.
• 단 36개의 훈련 예제만으로도 개발 전략으로 훈련 시 AIA가 0.72를 유지하며, 이는 무작위 전략(0.69)보다 유의미하게 높은 성능을 보인다.
• 개발 전략 훈련 정책을 사용할 경우 낮은 감독 조건에서도 클러스터링 성능이 유지되며, 데이터가 감소하더라도 ARI 및 AMI 값이 0.5를 초과한다.
• 개발 전략 훈련 정책은 감독 수준이 낮아질수록 성능 저하가 심한 무작위 전략 대비 모든 감독 수준에서 높은 인식 정확도를 유지한다.
• 사용자 피드백이 전혀 없는 상황에서도 시스템은 새로운 객체를 성공적으로 탐지하고 기억함으로써 자율적인 신규성 탐지 능력을 입증한다.
• 성능 향상은 특히 인스턴스 수준의 인식에서 두드러지며, 개발 전략이 낮은 감독 조건에서 AIA 및 클러스터링 지표를 크게 향상시킨다.