[논문 리뷰] Active Mining of Parallel Video Streams

Samaneh Khoshrou, Jaime S. Cardoso외 1명|arXiv (Cornell University)|2014. 05. 14.

Data Stream Mining Techniques참고 문헌 32인용 수 3

한 줄 요약

이 논문은 다중 카메라 감시 환경에서 병렬으로 변화하는 영상 스트림 간에 영상 객체를 점진적으로 분류하기 위한 준감독형 활동 학습 프레임워크인 NEVIL을 제안한다. 인간의 주석 처리에 가장 정보가 많은 샘플을 적응적으로 선택하고, 동적 융합 규칙을 사용해 다수의 분류기들을 통합함으로써, NEVIL은 합성 데이터에서는 15% 미만의 주석 처리 비용으로 90% 이상의 정확도를 달성하고, 실제 CAVIAR 데이터에서는 30% 미만의 레이블링으로 80% 이상의 정확도를 기록하며, 수동 학습 및 기준 활동 학습 방법들을 능가한다.

ABSTRACT

The practicality of a video surveillance system is adversely limited by the amount of queries that can be placed on human resources and their vigilance in response. To transcend this limitation, a major effort under way is to include software that (fully or at least semi) automatically mines video footage, reducing the burden imposed to the system. Herein, we propose a semi-supervised incremental learning framework for evolving visual streams in order to develop a robust and flexible track classification system. Our proposed method learns from consecutive batches by updating an ensemble in each time. It tries to strike a balance between performance of the system and amount of data which needs to be labelled. As no restriction is considered, the system can address many practical problems in an evolving multi-camera scenario, such as concept drift, class evolution and various length of video streams which have not been addressed before. Experiments were performed on synthetic as well as real-world visual data in non-stationary environments, showing high accuracy with fairly little human collaboration.

연구 동기 및 목표

• 레이블이 부족하고 확보하기 어려운 다중 카메라 영상 감시 환경에서 높은 주석 비용 문제를 해결하기 위해.
• 비정상적인 시각 환경에서의 개념 이동과 클래스 진화에 적응할 수 있는 강건한 점진적 학습 프레임워크를 개발하기 위해.
• 다양한 길이와 겹치는 시야를 가진 병렬 영상 스트림에서 인간의 레이블링 노력 최소화와 함께 높은 분류 정확도를 유지하기 위해.
• 카메라 간 겹침 여부에 대한 가정 없이 지속적인 학습을 가능하게 하여, 겹치는 시야와 겹치지 않는 카메라 구성 모두를 지원하기 위해.
• 실제 및 합성 감시 데이터에서 다양한 분류기 조합, 선택 전략, 융합 규칙의 효과를 평가하기 위해.

제안 방법

• 프레임워크 이름인 NEVIL은 영상 스트림을 배치 단위로 처리하고 시간이 지남에 따라 분류기 앙상블를 업데이트하는 준감독형 점진적 학습 접근법을 사용한다.
• 성능을 유지하면서도 레이블링 비용을 줄이기 위해 가장 정보가 많은 인스턴스를 선택하는 활동 학습 전략을 적용한다.
• 수정된 마진과 수정된 가장 확신하는 값 등의 다수의 정보성 측정 기준을 활용하여, 불확실하거나 다양한 샘플을 우선순위에 따라 정렬하고 오라클 질의를 이끌어낸다.
• 분류기 출력은 합 규칙, 곱 규칙, 기하 평균 등의 융합 규칙을 사용하며, 신뢰도와 다양성에 기반해 동적으로 선택한다.
• 객체의 외형을 여러 스트림 간에 추적하고 시간적으로 정렬함으로써, 카메라 간 전역 객체 식별성을 유지한다.
• 컨트롤된 개념 이동이 있는 합성 데이터와 고차원적 시각적 특징이 복잡한 실제 CAVIAR 시퀀스를 사용하여 프레임워크를 평가한다.

실험 결과

연구 질문

• RQ1 개념 이동과 클래스 진화가 발생하는 변화하는 다중 카메라 영상 스트림에 대해 활동 학습을 효과적으로 적용할 수 있는 방법은 무엇인가?
• RQ2 기본 분류기 조합, 융합 규칙, 정보성 측정 기준의 조합 중에서 최소한의 인간 주석 처리로 가장 높은 정확도를 달성하는 조합은 무엇인가?
• RQ3 저차원 청소한 데이터와 고차원 노이즈가 많은 실제 영상 스트림 간에 생성 모델과 판별 모델의 성능는 어떻게 다를까?
• RQ4 공간 구성에 대한 사전 가정 없이도 통합 프레임워크가 겹치는 시야와 겹치지 않는 카메라 시야를 모두 처리할 수 있는가?
• RQ5 장기적이고 지속적인 영상 감시에서 레이블링 비용과 분류 정확도 사이의 최적의 트레이드오프는 무엇인가?

주요 결과

• NEVIL은 합성 데이터에서 15% 미만의 주석 처리 비용으로 90% 이상의 정확도를 달성하며, 수동 학습 및 기준 활동 학습 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• 실제 CAVIAR 시퀀스에서는 30% 미만의 레이블링으로 80% 이상의 정확도를 달성하여, 실제 데이터의 노이즈와 복잡성에 대한 강력한 내구성을 입증했다.
• 저차원 청소한 합성 데이터에서는 생성 모델(예: 나이브 베이즈)이 판별 모델보다 뛰어나며, 이는 낮은 노이즈 환경에서의 유연성 덕분이다.
• 고차원적이고 노이즈가 많은 실제 영상 스트림에서는 서포트 벡터 머신과 로지스틱 회귀와 같은 판별 모델이 생성 모델을 능가하며, 이는 국소 최대값을 더 잘 다루기 때문일 것이다.
• 실제 데이터에서는 산술 평균(합 규칙) 융합과 수정된 마진(수정된 가장 확신하는 값) 선택 기준 조합이 가장 뛰어난 성능을 보였고, 합성 데이터에서는 기하 평균과 수정된 가장 확신하는 값이 최고의 성능을 보였다.
• 카메라 겹침 여부에 대한 사전 가정 없이도 개념 이동과 클래스 진화를 효과적으로 처리하며, 다양한 감시 구성에 적용 가능하다.