[논문 리뷰] Using Fully Convolutional Neural Networks to detect manipulated images in videos.

Michail Tarasiou, Stefanos Zafeiriou|arXiv (Cornell University)|2019. 11. 29.

Digital Media Forensic Detection참고 문헌 22인용 수 2

한 줄 요약

이 논문은 깊이 학습된 가짜 영상 감지의 도전 과제를 해결하기 위해, 가짜 영상의 지역적 공통 특징을 식별함으로써 영상 내 가짜 얼굴 이미지를 감지하는 경량화된 완전 컨volution 신경망을 제안한다. 다중 작업 학습 방식과 구조적 편향을 활용하여, 기존 방법보다 훨씬 적은 파라미터로 FaceForensics++에서 최고 성능을 달성한다.

ABSTRACT

Recent developments in computer vision and machine learning have made it possible to create realistic manipulated videos of human faces, raising the issue of ensuring adequate protection against the malevolent effects unlocked by such capabilities. In this paper we propose local image features that are shared across manipulated regions are the key element for the automatic detection of manipulated face images. We also design a lightweight architecture with the correct structural biases for extracting such features and derive a multitask training scheme that consistently outperforms image class supervision alone. The trained networks achieve state-of-the-art results in the FaceForensics++ dataset using significantly reduced number of parameters and are shown to work well in detecting fully generated face images.

연구 동기 및 목표

• 심층가짜 영상의 증가하는 위협에 대응하기 위해 자동화된 감지 방법을 개발한다.
• 가짜 영상의 영역 간에 일관되게 존재하는 공통 지역적 이미지 특징을 식별한다.
• 공통 특징을 감지하기 위해 구조적 편향을 갖춘 경량화된 신경망 아키텍처를 설계한다.
• 이미지 수준의 감독과 국소적 특징 학습을 결합한 다중 작업 학습 방식을 통해 감지 성능을 향상시킨다.

제안 방법

• 모델은 전체 영상 프레임의 공간적 특징을 처리하기 위해 완전 컨volution 신경망(FCN) 아키텍처를 사용한다.
• 감지의 주요 신호로는 가짜 영역 간에 공통으로 존재하는 지역적 이미지 특징을 활용한다.
• 일반화 성능을 향상시키기 위해 이미지 수준의 분류와 국소적 특징 학습을 결합한 다중 작업 학습 목표를 도입한다.
• 가짜 영역에서 공간적으로 일관되고 반복되는 패턴을 탐지하도록 유리한 구조적 편향을 갖춘 네트워크를 설계한다.
• 실제 및 가짜 얼굴 이미지를 모두 사용하여 FaceForensics++ 데이터셋에서 엔드 투 엔드로 모델을 훈련시킨다.
• 효율성을 최적화하여 파라미터 수를 줄이면서도 높은 감지 정확도를 유지한다.

실험 결과

연구 질문

• RQ1 가짜 영역 간에 공통으로 존재하는 지역적 이미지 특징은 심층가짜 영상 감지에 효과적인 신호로 활용될 수 있는가?
• RQ2 구조적 편향을 갖춘 다중 작업 학습은 표준 이미지 분류 감독에 비해 감지 성능을 어떻게 향상시키는가?
• RQ3 경량화된 FCN 아키텍처는 FaceForensics++ 벤치마크에서 더 적은 파라미터로 최고 성능을 달성할 수 있는가?
• RQ4 모델은 후처리된 영상 외에도 완전히 생성된 얼굴 이미지로도 얼마나 잘 일반화되는가?

주요 결과

• 제안된 모델은 FaceForensics++ 데이터셋에서 최고 성능을 달성하여 기존 방법보다 감지 정확도에서 뛰어난 성능을 보였다.
• 다중 작업 학습 방식은 이미지 분류 감독만을 사용하는 것보다 감지 성능을 일관되게 향상시켰다.
• 기존 최고 성능 모델에 비해 네트워크 아키텍처가 훨씬 파라미터 효율적이었으며, 정확도를 유지하면서 모델 크기를 줄였다.
• 완전히 생성된 얼굴 이미지로의 일반화 능력이 뛰어나 다양한 변조 기법에 대해 강건함을 보였다.
• 가짜 영역 간에 공통으로 존재하는 지역적 특징은 심층가짜 감지에 신뢰할 수 있고 구분력 있는 신호이다.
• 경량 설계 덕분에 효율적인 추론이 가능하여 실시간 영상 분석 응용 분야에 적합하다.