[논문 리뷰] A Coarse-to-fine Deep Convolutional Neural Network Framework for Frame Duplication Detection and Localization in Forged Videos

Chengjiang Long, Arslan Basharat외 1명|arXiv (Cornell University)|2019. 01. 01.

Digital Media Forensic Detection인용 수 11

한 줄 요약

이 논문은 I3D와 시アン에이브 ResNet 아키텍처를 사용하여 위조 영상에서 프레임 복제를 탐지하고 국소화하기 위한 코arse-to-fine 딥 러닝 프레임워크를 제안한다. 비디오 수준의 위조 점수와 프레임 수준의 일관성 없음 탐지 기반으로 두 개의 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Videos can be manipulated by duplicating a sequence of consecutive frames with the goal of concealing or imitating a specific content in the same video. In this paper, we propose a novel coarse-to-fine framework based on deep Convolutional Neural Networks to automatically detect and localize such frame duplication. First, an I3D network finds coarse-level matches between candidate duplicated frame sequences and the corresponding selected original frame sequences. Then a Siamese network based on ResNet architecture identifies fine-level correspondences between an individual duplicated frame and the corresponding selected frame. We also propose a robust statistical approach to compute a video-level score indicating the likelihood of manipulation or forgery. Additionally, for providing manipulation localization information we develop an inconsistency detector based on the I3D network to distinguish the duplicated frames from the selected original frames. Quantified evaluation on two challenging video forgery datasets clearly demonstrates that this approach performs significantly better than four recent state-of-the-art methods.

연구 동기 및 목표

• 위조 영상에서 프레임 복제를 탐지하는 데 도전하는 것, 이는 콘텐츠를 숨기거나 모방하는 데 흔히 사용되는 기술이다.
• 복제된 프레임의 존재를 탐지하고 영상 내에서 복제된 프레임을 정확하게 국소화할 수 있는 방법을 개발하는 것.
• 영상 위조 탐지의 정확도와 국소화 정밀도 측면에서 기존 최신 기술 수준의 방법들을 향상시키는 것.
• 딥 페처의 통계 분 析를 통해 위조 가능성에 대한 비디오 수준의 점수를 제공하는 것.
• 특화된 일관성 없음 탐지기 덕분에 복제된 프레임과 원본 프레임을 세밀하게 구별할 수 있도록 하는 것.

제안 방법

• 이중 단계 프레임워크: 첫 번째로, I3D 네트워크가 복제된 프레임 시퀀스와 원본 프레임 시퀀스 간의 코어스 레벨 일치를 식별한다.
• 두 번째로, ResNet 아키텍처를 기반으로 한 시앙에이브 네트워크가 개별 복제 프레임과 해당 원본 프레임 간의 세밀한 대응 매칭을 수행한다.
• 통계적 접근 방식을 통해 딥 페처를 바탕으로 전체 위조 가능성 평가를 위한 비디오 수준 점수를 계산한다.
• I3D를 기반으로 한 일관성 없음 탐지기 역시 프레임 수준에서 복제된 프레임과 원본 프레임을 구별하도록 훈련된다.
• 코어스 탐지와 파인 국소화를 통합하여 위조 식별의 정확도와 정밀도를 향상시킨다.
• 성능을 검증하기 위해 두 개의 도전적인 영상 위조 데이터셋에서 종단 간(end-to-end)으로 평가된다.

실험 결과

연구 질문

• RQ1 코어스 투 파인 딥 러닝 프레임워크는 위조 영상에서 프레임 복제를 얼마나 효과적으로 탐지할 수 있는가?
• RQ2 시앙에이브 ResNet 아키텍처는 복제된 프레임과 원본 프레임 간의 세밀한 대응 매칭을 향상시킬 수 있는가?
• RQ3 제안된 비디오 수준의 위조 점수는 실제 복제 존재와 얼마나 잘 상관되는가?
• RQ4 일관성 없음 탐지기는 얼마나 정밀하게 복제된 프레임을 국소화할 수 있는가?
• RQ5 이 제안된 방법은 검출 및 국소화 성능 측면에서 네 가지 최근 최신 기술 수준의 접근 방식과 비교해 어떻게 성과를 내는가?

주요 결과

• 제안된 프레임워크는 두 개의 도전적인 영상 위조 데이터셋에서 네 가지 최근 최신 기술 수준의 방법들을 크게 앞서며 성능을 뛰어넘었다.
• 코어스 투 파인 설계 덕분에 복제된 프레임 시퀀스의 정확한 탐지와 함께 국소화 정밀도가 향상되었다.
• 강력한 통계 분석을 통한 비디오 수준 점수 계산이 위조 가능성의 가능성을 효과적으로 나타내었다.
• I3D를 기반으로 한 일관성 없음 탐지기는 매우 높은 신뢰도로 복제된 프레임과 원본 프레임을 구별하는 데 성공했다.
• I3D를 코어스 매칭에, 시앙에이브 ResNet을 파인 매칭에 통합함으로써 전체 성능이 향상되었다.
• 정량적 평가를 통해 이 방법이 탐지 및 국소화 작업 양면에서 효과적임을 확인했다.