[논문 리뷰] Towards a Forensic Event Ontology to Assist Video Surveillance-based Vandalism Detection

Faranak Sobhani, Umberto Straccia|arXiv (Cornell University)|2019. 03. 21.

Video Analysis and Summarization참고 문헌 27인용 수 7

한 줄 요약

이 논문은 복잡한 범죄 사건의 의미적 표현을 표준화하기 위해 DOLCE 기본 철학 체계에서 유도된 OWL 2 기반의 법의학적 사건 온톨로지(ontology)를 제안한다. 이는 비디오 감시 영상에서 파손, 폭동, 이질적 행동과 같은 사건들을 수작업으로 구성한 논리 규칙과 기계 학습된 논리 규칙을 모두 활용하여 자동으로 분류할 수 있도록 하며, 2011년 런던 폭도 사건의 실제 CCTV 영상에서 대부분의 사건 유형에 대해 높은 재현율(최대 1.00)과 F1 점수(최대 1.00)를 달성한다.

ABSTRACT

The detection and representation of events is a critical element in automated surveillance systems. We present here an ontology for representing complex semantic events to assist video surveillance-based vandalism detection. The ontology contains the definition of a rich and articulated event vocabulary that is aimed at aiding forensic analysis to objectively identify and represent complex events. Our ontology has then been applied in the context of London Riots, which took place in 2011. We report also on the experiments conducted to support the classification of complex criminal events from video data.

연구 동기 및 목표

• 비디오 감시에서 법의학적 사건 표현을 위한 표준화되고 체계적인 온톨로지의 부재를 해결하기 위해.
• 다양한 감시 시스템 간의 복잡한 범죄 사건에 대한 상호 운용성과 의미적 검색을 지원하기 위해.
• 저수준의 영상 메타데이터에서 고수준의 범죄 사건을 논리 규칙을 통해 자동으로 분류할 수 있도록 하기 위해.
• 수작업으로 정의된 규칙과 기계 학습된 규칙이 실제 세계의 범죄 사건을 분류하는 데 얼마나 효과적인지 평가하기 위해.
• 범죄 수사에서 비디오 데이터의 법의학적 분석을 위해 재사용 가능하고 확장 가능한 프레임워크를 제공하기 위해.

제안 방법

• 온톨로지는 DOLCE+DnS Ultralite 기반으로 구축되며, 시간적 발생(Perdurant)과 지속 존재체(Endurant)의 기본 클래스를 확장하여 법의학적으로 관련 있는 사건과 물체를 모델링한다.
• 철학적 및 언어학적 기반의 계층적 사건 어휘를 활용하여 의미 일관성과 상호 운용성을 보장한다.
• 고수준의 사건을 저수준의 사건 조합으로 정의하기 위해 기술적 논리(Description Logic, DL) 규칙, 특히 일반 개념 포함(GCI)를 사용한다.
• 수작업 GCI는 전문 지식 기반으로 구성되며, 기계 학습된 GCI는 의미적으로 주석이 달린 영상 데이터를 기반으로 DL-Learner CELOE 알고리즘을 사용해 생성된다.
• 평가에서는 5개의 교차 검증 폴드를 사용하여 각 사건 유형의 정밀도, 재현율, F1 점수를 계산한다.
• 수작업으로 구성한 GCI와 학습된 GCI를 융합하여 병합된 성능을 평가하며, 온톨로지에서 사건 인스턴스를 추론하기 위해 리asoner를 사용한다.

실험 결과

연구 질문

• RQ1 형식적이고 OWL 2 기반의 온톨로지가 비디오 감시 데이터 내 복잡한 법의학적 사건을 효과적으로 표현할 수 있는가?
• RQ2 수작업으로 정의된 논리 규칙과 기계 학습된 규칙은 영상 메타데이터에서 고수준의 범죄 사건을 분류하는 데 어떻게 비교되는가?
• RQ3 이 온톨로지는 실제 감시 수사에서 상호 운용성과 의미적 검색을 어느 정도 지원할 수 있는가?
• RQ4 이 시스템은 실제 CCTV 영상에서 파손, 폭도, 이질적 행동과 같은 사건을 분류하는 데 얼마나 성능이 좋은가?
• RQ5 학습된 GCI와 수작업으로 제작된 GCI를 융합하면, 개별적으로 사용했을 때보다 분류 성능을 향상시킬 수 있는가?

주요 결과

• 수작업으로 제작한 GCI는 '구조 손상'과 '던지기' 사건에 대해 완벽한 정밀도와 재현율(각각 1.00)을 달성했으며, F1 점수는 각각 1.00과 0.92였다.
• '혼잡함' 사건은 정밀도 0.96, 재현율 1.00을 기록하여 F1 점수 0.98를 달성했다.
• '이상 행동'과 '차량 손상' 사건은 높은 재현율(각각 0.99, 0.98)을 보였지만 정밀도는 중간 수준(각각 0.69)이었으며, F1 점수는 0.81이었다.
• 기계 학습된 GCI는 수작업 GCI와 유사한 성능을 보였으며, 마이크로 평균 F1은 0.845, 매크로 평균 F1은 0.649였다.
• DL-Learner를 사용해 '파손'과 '폭도' 사건에 대한 GCI를 학습하지 못했으며, 이는 학습된 경우 '폭도' 사건의 재현율(0.24)과 F1 점수(0.38)가 낮게 나타난 데 반영되었다.
• 수작업으로 제작한 GCI와 학습된 GCI를 융합했지만, 수작업 전용 기준보다 성능 향상이 없었으며, '폭도' 사건은 여전히 잘 분류되지 않았다.