[논문 리뷰] Online Open World Recognition

Rocco De Rosa, Thomas Mensink외 1명|arXiv (Cornell University)|2016. 04. 08.

Advanced Bandit Algorithms Research참고 문헌 28인용 수 21

한 줄 요약

이 논문은 동적으로 변화하는 환경에서 인식 성능을 향상시키기 위해 메트릭을 점진적으로 학습하고, 신규성 탐지 임계값을 적응적으로 조정하며, 局소 학습을 적용하는 온라인 오픈 월드 인식 프레임워크를 제안한다. NCM, NNO, NBC 세 가지 메트릭 학습 알고리즘을 온라인 및 점진적 업데이트 기능으로 확장함으로써, 대규모 데이터셋에서 고정 메트릭 기반 모델 대비 뛰어난 성능을 달성하였으며, 실제 인식 시나리오에서 지속적인 적응의 중요성을 입증한다.

ABSTRACT

As we enter into the big data age and an avalanche of images have become readily available, recognition systems face the need to move from close, lab settings where the number of classes and training data are fixed, to dynamic scenarios where the number of categories to be recognized grows continuously over time, as well as new data providing useful information to update the system. Recent attempts, like the open world recognition framework, tried to inject dynamics into the system by detecting new unknown classes and adding them incrementally, while at the same time continuously updating the models for the known classes. incrementally adding new classes and detecting instances from unknown classes, while at the same time continuously updating the models for the known classes. In this paper we argue that to properly capture the intrinsic dynamic of open world recognition, it is necessary to add to these aspects (a) the incremental learning of the underlying metric, (b) the incremental estimate of confidence thresholds for the unknown classes, and (c) the use of local learning to precisely describe the space of classes. We extend three existing metric learning algorithms towards these goals by using online metric learning. Experimentally we validate our approach on two large-scale datasets in different learning scenarios. For all these scenarios our proposed methods outperform their non-online counterparts. We conclude that local and online learning is important to capture the full dynamics of open world recognition.

연구 동기 및 목표

• 클래스 수와 데이터가 시간이 지남에 따라 변화하는 실제 시각 인식 시스템에서 정적이고 폐쇄된 설정 학습의 한계를 해결한다.
• 새로운 데이터와 클래스가 등장함에 따라 적응하지 못하는 고정 메트릭과 임계값을 사용하는 기존 오픈 월드 인식 방법의 단점을 극복한다.
• 지속적으로 업데이트되는 데이터 분포를 반영하기 위해 메트릭, 신뢰도 임계값, 국소 표현을 점진적으로 갱신하는 완전한 온라인 학습 프레임워크를 개발한다.
• 지속적인 적응을 통해 기존 클래스와 새로운 클래스에 대한 인식 성능을 모두 향상시킨다.
• 오픈 월드 환경에서 복잡한 클래스 경계를 모델링하는 데 있어 국소적 비모수적 학습의 효과를 입증한다.

제안 방법

• 데이터 스트림을 순차적으로 처리하는 온라인 학습 템플릿을 도입하여, 각 예측 후 모델과 메트릭을 갱신한다.
• Nearest Class Mean (NCM), Nearest Non-Outlier (NNO), Nearest Ball Classifier (NBC)의 세 가지 비모수적 분류기들을 온라인 메트릭 학습으로 확장하여, 마할라노비스 거리가 시간에 따라 적응하도록 한다.
• 기존 클래스의 실시간 신뢰도 점수를 활용해 이상 탐지 임계값의 점진적 추정을 구현함으로써, 새로운 클래스가 추가될 때 동적으로 조정할 수 있도록 한다.
• Nearest Ball Classifier (NBC)를 통한 국소 학습을 적용하여, 복잡한 비선형 클래스 구조를 더 정확히 포착할 수 있도록 적응형 국소 가중 프로토타입을 모델링한다.
• 기존 클래스와 미지 클래스 성능을 균형 있게 평가하기 위해, 기존 클래스 정확도와 오픈 세트 정확도의 조화 평균(F-score)을 주요 평가 지표로 사용한다.
• 온라인 확률적 최적화를 사용하여 모델을 훈련하고 갱신함으로써, 낮은 계산 오버헤드와 실시간 적응성을 확보한다.

실험 결과

연구 질문

• RQ1 지속적으로 새로운 클래스와 데이터가 도착하는 오픈 월드 환경에서 온라인 메트릭 학습이 인식 성능을 향상시킬 수 있는가?
• RQ2 실시간 신뢰도 점수를 기반으로 동적으로 업데이트되는 이상 탐지 임계값이 고정 임계값보다 더 나은 오픈 세트 성능을 제공하는가?
• RQ3 비선형적이고 변화하는 클래스 경계를 모델링할 때, 국소적 비모수적 학습(예: 근접한 구체 분류기)이 선형 방법(예: NNO)보다 어떻게 다른가?
• RQ4 메트릭과 임계값의 점진적 학습이 스트리밍 인식 시나리오에서 기존 세트 및 오픈 세트 정확도를 어느 정도 향상시키는가?
• RQ5 제안된 온라인 확장 기법은 클래스 구성이 변화하는 다양한 대규모 데이터셋에서 어떻게 성능을 발휘하는가?

주요 결과

• oNNO와 oNBC와 같은 제안된 온라인 확장 기법이 ILVRC’10 및 Places2 데이터셋 전반에서 고정 메트릭 기반 대비 온라인 조화 평균 정확도에서 뚜렷한 성능 향상을 보였다.
• 국소 학습을 적용한 oNBC 방법은 적응형 국소 가중 프로토타입을 통해 클래스 경계를 더 정밀하게 모델링할 수 있어 oNNO보다 뛰어난 성능을 달성했다.
• 점진적 임계값 추정 방법은 기존 세트와 오픈 세트의 신뢰도 점수 간 명확한 분리를 유지하여, 더 신뢰할 수 있는 미지 클래스 탐지가 가능했다.
• oNNO 분류기는 기존 클래스와 미지 클래스에 대해 거의 구분되지 않는 신뢰도 점수를 보였으며, 이는 고정 임계값 설정이 효과적이지 않음을 시사하며, 동적 임계값 적응의 필요성을 강조한다.
• 성능 향상은 특히 시스템이 더 많은 클래스를 학습하고 메트릭이 지속적인 업데이트로 안정화된 후반 스트림 세그먼트에서 가장 두드러졌다.
• Places2 데이터셋에서 강력한 특징를 사용한 결과 ILVRC’10 대비 전체 정확도가 높아졌지만, 온라인 방법의 상대적 성능 향상은 두 데이터셋 모두에서 일관되게 유지되었다.