[논문 리뷰] Complex Events Recognition under Uncertainty in a Sensor Network

Atul Kanaujia, Tae Eun Choe외 1명|arXiv (Cornell University)|2014. 11. 01.

Anomaly Detection Techniques and Applications참고 문헌 32인용 수 6

한 줄 요약

이 논문은 불확실성 하에서 다중 센서 영상 스트림에서 복잡한 사건을 인식하기 위한 마르코프 논리망(Markov Logic Network, MLN) 기반 시스템을 제안한다. 이 시스템은 부드러운 규칙과 학습된 가중치를 사용하여 이질적인 시각 데이터를 확률적 일阶 논리로 융합한다. 이 접근법은 네 대상이 겹치지 않는 센서에서 가방 도난 및 낙하와 같은 복잡한 사건을 탐지할 때 77.8%의 정밀도와 80.7%의 재현율을 달성하여 확장성과 불완전하거나 모호한 관측에 대한 강건성을 입증한다.

ABSTRACT

Automated extraction of semantic information from a network of sensors for cognitive analysis and human-like reasoning is a desired capability in future ground surveillance systems. We tackle the problem of complex decision making under uncertainty in network information environment, where lack of effective visual processing tools, incomplete domain knowledge frequently cause uncertainty in the visual primitives, leading to sub-optimal decisions. While state-of-the-art vision techniques exist in detecting visual entities (humans, vehicles and scene elements) in an image, a missing functionality is the ability to merge the information to reveal meaningful information for high level inference. In this work, we develop a probabilistic first order predicate logic(FOPL) based reasoning system for recognizing complex events in synchronized stream of videos, acquired from sensors with non-overlapping fields of view. We adopt Markov Logic Network(MLN) as a tool to model uncertainty in observations, and fuse information extracted from heterogeneous data in a probabilistically consistent way. MLN overcomes strong dependence on pure empirical learning by incorporating domain knowledge, in the form of user-defined rules and confidences associated with them. This work demonstrates that the MLN based decision control system can be made scalable to model statistical relations between a variety of entities and over long video sequences. Experiments with real-world data, under a variety of settings, illustrate the mathematical soundness and wide-ranging applicability of our approach.

연구 동기 및 목표

• 시각 데이터가 센서 간에 불확실하거나 불완전하거나 일관되지 않을 때 발생하는 센서 네트워크에서의 복잡한 사건 인식 문제를 해결하기 위해.
• 저수준의 시각 검출 결과와 상징적 도메인 지식을 확률적으로 일관된 방식으로 융합하여 고수준의 인지적 추론을 가능하게 하기 위해.
• 결측 또는 노이즈가 있는 기본 검출 결과에서 실패하는 전통적인 규칙 기반 및 HMM 기반 시스템의 한계를 극복하기 위해.
• 계층적 추론을 사용하여 장시간 영상 시퀀스와 다수의 상호작용하는 실체에 대한 확률적 추론의 확장성을 높이기 위해.
• 학습된 유사도 메트릭과 가중치가 부여된 논리 규칙을 통해 교차 센서 대상 연동 및 사건 탐지 정확도를 향상시키기 위해.

제안 방법

• 각 규칙에 신뢰도를 반영하는 가중치를 부여하는 부드러운 규칙를 사용하여 확률적 일阶 술어 논리(FOPL)로 복잡한 사건을 모델링한다.
• 마르코프 논리망(MLN)을 사용하여 시각 관측의 불확실성을 표현하고 이질적인 데이터 소스 간의 확률적 추론을 수행한다.
• 저수준의 시각 검출 결과(예: 사람, 차량)를 MLN의 증거로 통합하며, 검출 신뢰도를 반영하기 위해 가중치가 부여된 술어를 사용한다.
• 계산 비용을 줄이기 위해 계층적 추론을 적용하여 장시간 영상 시퀀스와 많은 수의 기저 원소에 대한 확장성을 확보한다.
• TUFFY를 MLN 추론 엔진으로 사용하며, 사건 규칙에 대해 수동으로 설정된 가중치와 교차 센서 대상 연동에 대해 학습된 가중치를 사용한다.
• 개별 사람 마스크를 사용하지 않고도 정확도를 향상시키기 위해 유사도 메트릭 학습을 위한 관련성 성분 분석(RCA)을 사용하여 사람 대상 연동을 향상시킨다.

실험 결과

연구 질문

• RQ1 관측이 센서 간에 불확실하거나 불완전하거나 일관되지 않을 때, 다중 센서 영상 스트림에서 복잡한 사건을 어떻게 인식할 수 있는가?
• RQ2 MLN과 같은 확률적 논리 프레임워크는 불확실성 하에서 다수의 에이전트 간 상호작용을 효과적으로 모델링하고 추론하는 데에 적합한가?
• RQ3 기본 마스크가 없는 상황에서 학습된 유사도 메트릭은 교차 센서 대상 연동 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 MLN 기반 추론은 다수의 센서에서 장시간 지속되는 고차원 복잡한 사건을 인식하는 데에 얼마나 확장 가능한가?
• RQ5 MLN의 부드러운 규칙은 일부 하위 사건이 검출되지 않거나 모호한 경우에도 강건한 추론을 제공할 수 있는가?

주요 결과

• MLN 기반 시스템은 네 대상이 겹치지 않는 센서에서 가방 도난 및 가방 낙하와 같은 복잡한 사건을 탐지할 때 77.8%의 정밀도와 80.7%의 재현율을 달성하였다.
• 시험 영상 시퀀스에서 복잡한 사건 4개 중 3개를 성공적으로 탐지하였으며, 네 번째 사건은 결함이 있는 속성 검출기로 인해 잘못 분류되었다.
• 유사도 기반 대상 연동 알고리즘의 정확도를 크게 향상시키기 위해 관련성 성분 분석(RCA)을 사용하였으며, 개별 사람 마스크를 사용하지 않아도 성능 향상이 가능했다.
• 복잡한 가방 도난 사건의 추론은 2.8GHz 사각형 코어 컴퓨터에서 약 1시간이 소요되었으며, 고차원 술어로 인해 약 40만 개의 기저 원소가 생성되었다.
• 다양한 사건 유형에 대해 높은 재현율(최대 1.0)을 보였지만, 주로 차량이나 건물 입구와의 비정상적인 상호작용으로 인해 가짜 양성 결과가 빈번히 발생했다.
• 부드러운 규칙의 사용 덕분에 일부 하위 사건이 관측되지 않더라도 복잡한 사건의 부분적 탐지가 가능하여 결측 데이터에 대한 강건성을 입증하였다.