[논문 리뷰] Detection, Recognition and Tracking of Moving Objects from Real-time Video via SP Theory of Intelligence and Species Inspired PSO

Kumar S. Ray, Sayandip Dutta외 1명|arXiv (Cornell University)|2017. 04. 12.

Video Surveillance and Tracking Methods참고 문헌 14인용 수 7

한 줄 요약

이 논문은 물체 표현을 위한 지능의 SP 이론과 추적을 위한 종별 흉내 내는 입자 군집 최적화(PSO)를 사용하여 영상에서 움직이는 물체를 실시간으로 감지, 인식, 추적하는 새로운 프레임워크를 제안한다. 다중 정렬과 다의적 카테고리( polythetic categories )를 활용해 계층적 부분과 하위 부분을 모델링함으로써, 가림과 환경 변화 상황에서도 강건한 인식 성능을 달성하였으며, David 및 Jogging과 같은 표준 영상 벤치마크에서 경쟁력 있는 성능을 보였다.

ABSTRACT

In this paper, we address the basic problem of recognizing moving objects in video images using SP Theory of Intelligence. The concept of SP Theory of Intelligence which is a framework of artificial intelligence, was first introduced by Gerard J Wolff, where S stands for Simplicity and P stands for Power. Using the concept of multiple alignment, we detect and recognize object of our interest in video frames with multilevel hierarchical parts and subparts, based on polythetic categories. We track the recognized objects using the species based Particle Swarm Optimization (PSO). First, we extract the multiple alignment of our object of interest from training images. In order to recognize accurately and handle occlusion, we use the polythetic concepts on raw data line to omit the redundant noise via searching for best alignment representing the features from the extracted alignments. We recognize the domain of interest from the video scenes in form of wide variety of multiple alignments to handle scene variability. Unsupervised learning is done in the SP model following the DONSVIC principle and natural structures are discovered via information compression and pattern analysis. After successful recognition of objects, we use species based PSO algorithm as the alignments of our object of interest is analogues to observation likelihood and fitness ability of species. Subsequently, we analyze the competition and repulsion among species with annealed Gaussian based PSO. We have tested our algorithms on David, Walking2, FaceOcc1, Jogging and Dudek, obtaining very satisfactory and competitive results.

연구 동기 및 목표

• 다양한 조명, 자세, 가림 조건 하에서 실시간 영상에서 움직이는 물체를 인식하는 과제를 해결하기 위해.
• 지능의 SP 이론 원칙을 활용해 물체 감지, 인식, 추적을 통합하는 유일한 프레임워크를 개발하기 위해.
• 종 기반 PSO 최적화 프레임워크에서 물체 정렬을 적합도 함수로 모델링하여 추적의 강건성을 향상시키기 위해.
• 정보 압축과 패턴 탐색을 통한 DONSVIC 원칙을 통해 비지도 학습을 가능하게 하기 위해.
• 다중 계층적 정렬을 통해 다의적 카테고리를 사용하여 환경 변화를 다루기 위해.

제안 방법

• 물체를 부분과 하위 부분의 다중 계층적 정렬을 통해 표현하기 위해 지능의 SP 이론(‘S’는 단순성, ‘P’는 능력)을 활용한다.
• 다수의 인스턴스 간 공통점을 식별하여 다의적 카테고리를 적용해 물체 기능을 모델링함으로써, 원시 영상 데이터의 노이즈와 중복을 감소시킨다.
• 정보 압축과 패턴 분석을 통한 정보 압축 원리(DONSVIC 원칙)에 기반한 비지도 학습을 적용하여 자연스러운 구조를 탐지한다.
• 물체 정렬을 관측 가능성과 종 기반 PSO 알고리즘 내 적합도로 매핑하며, 각 입자는 잠재적인 물체 상태를 나타낸다.
• 냉각된 가우시안 기반 PSO를 구현하여 종(입자) 간의 경쟁과 반발력을 모델링함으로써 추적 중 수렴성과 강건성을 향상시킨다.
• 학습용 이미지에서 다중 정렬을 추출하고, 이를 실시간 영상 시퀀스에서의 인식 및 추적용 기준 템플릿으로 사용한다.

실험 결과

연구 질문

• RQ1 통합 인지 프레임워크를 통해 가림과 환경 변화 상황에서 실시간 영상에서의 물체 인식을 어떻게 향상시킬 수 있는가?
• RQ2 SP 이론의 원리가 다중 정렬을 통해 계층적 물체 부분의 강건한 표현을 얼마나 잘 가능하게 하는가?
• RQ3 종 기반 흉내 내는 PSO는 동적 영상 환경에서 표준 PSO에 비해 추적 성능을 어떻게 향상시키는가?
• RQ4 라벨이 없는 데이터를 사용하여 DONSVIC 원칙에 기반한 비지도 학습이 자연스러운 물체 구조를 효과적으로 탐지할 수 있는가?
• RQ5 다의적 카테고리는 원시 영상 데이터에서 노이즈 감소와 인식 정확도 향상에 어떻게 기여하는가?

주요 결과

• 제안된 방법은 David, Walking2, FaceOcc1, Jogging, Dudek 등의 벤치마크 영상 시퀀스에서 매우 경쟁적인 인식 및 추적 성능을 달성하였다.
• 다중 정렬과 다의적 카테고리의 사용이 부분적인 가림과 환경 변화 상황에서 인식의 강건성을 크게 향상시켰다.
• 냉각된 가우시안 분포를 사용해 입자 간 경쟁과 반발력을 모델링한 종 기반 흉내 내는 PSO는 추적 중 수렴성과 안정성을 향상시켰다.
• 정보 압축을 통한 DONSVIC 원칙에 기반한 비지도 학습은 수동 애너테이션 없이도 자연스러운 물체 구조를 성공적으로 탐지하였으며, 효과적인 특징 추출을 가능하게 하였다.
• SP 기반 표현과 PSO 기반 추적의 통합은 복잡한 영상 동역학을 다루는 데서 베이스라인 방법을 능가하는 통합 시스템을 제공하였다.
• 이 프레임워크는 다양한 영상 도메인에서 뛰어난 일반화 능력을 보였으며, 실생활 감시 및 모니터링 응용 분야에서의 확장성과 적응 가능성에 유망한 잠재력을 보였다.