[논문 리뷰] 3D Reconstruction of Crime Scenes and Design Considerations for an Interactive Investigation Tool

Erkan Bostancı|arXiv (Cornell University)|2015. 12. 10.

3D Surveying and Cultural Heritage참고 문헌 22인용 수 17

한 줄 요약

이 논문은 비디오 시퀀스와 컴퓨터 비전 기법을 사용하여 범죄 현장의 자동 3차원 재구성 방법을 제안한다. 특히 열쇠 프레임 추출 및 밀도 있는 재구성에 기반한 번들 조정 기법을 적용한다. 이 방법은 실제 카메라 영상에서 정량적이고 사진처럼 사실적인 3차원 점군을 생성하여 정확한 공간 분석을 가능하게 하며, 측정 가능하고 법원에서 인정받을 수 있는 결과를 제공하는 상호작용 가능한 형량 조사 도구의 기초를 마련한다.

ABSTRACT

Crime Scene Investigation (CSI) is a carefully planned systematic process with the purpose of acquiring physical evidences to shed light upon the physical reality of the crime and eventually detect the identity of the criminal. Capturing images and videos of the crime scene is an important part of this process in order to conduct a deeper analysis on the digital evidence for possible hints. This work brings this idea further to use the acquired footage for generating a 3D model of the crime scene. Results show that realistic reconstructions can be obtained using sophisticated computer vision techniques. The paper also discusses a number of important design considerations describing key features that should be present in a powerful interactive CSI analysis tool.

연구 동기 및 목표

• 비용 효율적인 방법으로 고가의 레이저 스캐너를 사용하지 않고도 표준 비디오 영상만으로 정확한 3차원 재구성을 자동으로 생성하는 방법을 개발하는 것.
• 실제 사진 증거에서 유도된 현실적이고 정량적인 3차원 모델을 통해 이산적 공간 분석을 가능하게 하여 형량 조사의 품질을 향상시키는 것.
• 조사관이 측정, 주석, 시각화 기능을 지원할 수 있는 상호작용 가능한 3차원 분석 도구의 핵심 설계 특성을 정의하는 것.
• 재구성된 3차원 모델이 원본 사진 증거에 대한 추적 가능성을 유지하면서도 법원에서 사용 가능한 정량적 정확도를 확보하는 것.
• 3차원 재구성을 가상현실 또는 증강현실과 같은 몰입형 환경에 통합하여 조사관의 공간 관계 이해를 향상시키는 방법을 탐색하는 것.

제안 방법

• 프레임 간의 충분한 운동과 특징 대응을 확보하기 위해 특징 기반 탐지 기법을 사용하여 비디오 시퀀스에서 열쇠 프레임을 추출한다.
• 선택된 열쇠 프레임에서 카메라 자세와 3차원 점 위치를 추정하기 위해 반복적인 번들 조정 기법을 사용하여 밀도 있는 3차원 재구성을 수행한다.
• 계산 부담을 관리하기 위해 장면을 이미지 클러스터로 분할하고, 각 클러스터의 개별 점군을 별도로 재구성한다.
• 전역 일관성을 확보하기 위해 최소 4개의 대응 점을 사용하여 반복 최적화 점근적 거리(Iterative Closest Point, ICP) 알고리즘을 활용해 잘못 정렬된 점군을 재정렬한다.
• 최종 3차원 점군은 제3자 소프트웨어를 사용하여 노이즈 제거, 메쉬 생성, 원본 이미지에서의 텍스처 매핑 처리를 거친다.
• 시스템은 암기 및 증거 목적을 위해 상세한 보고서, 주석, 측정 데이터의 내보내기를 지원한다.

실험 결과

연구 질문

• RQ1 고가의 레이저 스캐너에 의존하지 않고 컴퓨터 비전 기법을 사용하여 표준 비디오 영상에서 범죄 현장의 3차원 재구성을 정확하게 생성할 수 있는가?
• RQ2 비디오 기반 재구성에서 특징 대응의 충분성과 운동 흐림 잔상의 감소를 위해 열쇠 프레임 선택을 어떻게 최적화할 수 있는가?
• RQ3 조사의 추론과 측정을 지원하기 위해 상호작용 가능한 3차원 형량 분석 도구에 필수적인 설계 특성은 무엇인가?
• RQ4 재구성된 3차원 모델이 법원에서 인정받을 수 있도록 정량적 정확도를 유지할 수 있는 정도는 어느 정도인가?
• RQ5 3차원 재구성을 가상현실 또는 증강현실과 같은 몰입형 환경에 통합하여 조사관의 공간 관계 이해를 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 열쇠 프레임 추출과 번들 조정 기반 기법을 사용하여 비디오 영상에서 정량적이고 사진처럼 사실적인 3차원 점군을 성공적으로 생성하였다.
• ICP 알고리즘을 사용한 최종 점군 정렬에서 평균 오차 한계는 0.0010 mm를 기록하여 높은 기하학적 정확도를 입증하였다.
• 재구성 과정은 실제 사진 증거에 기반한 자동화된 방식이므로 신뢰성과 법원에서의 인정 가능성 향상에 기여한다.
• 시스템은 물체 간 거리 측정, 피해자와의 거리 측정 등 형량 분석에 핵심적인 작업을 지원하며, 결과는 주석 처리 및 보고서 작성 가능하다.
• 메쉬 생성, 텍스처 매핑, 주석 도구와의 통합을 통해 범죄 현장의 종합적인 이산적 분석이 가능해졌다.
• 향후 연구는 가상현실 및 증강현실 인터페이스를 지원할 수 있도록 시스템을 확장하는 것이 가능하다는 것을 확인하였다.