[논문 리뷰] How Do the Hearts of Deep Fakes Beat? Deep Fake Source Detection via Interpreting Residuals with Biological Signals

Umur Aybars Çiftçi, İlke Demir외 1명|arXiv (Cornell University)|2020. 08. 26.

Digital Media Forensic Detection참고 문헌 51인용 수 10

한 줄 요약

이 논문은 얼굴 영역에서 추출한 광plethysmography(PPG) 신호를 활용하여 생성 모델 잔차를 해석함으로써, 새로운 딥 페이크 원본 탐지 방법을 제안한다. 시공간적 PPG 패턴을 PPG 셀로 인코딩하고 사전 훈련된 CNN을 사용해 분류함으로써, 이 방법은 97.29%의 정확도로 가짜/진짜 탐지와 93.39%의 정확도로 생성 모델 원본 식별을 달성하여 기존 방법을 능가하며, 미리 보지 못한 생성기까지 탐지할 수 있다.

ABSTRACT

Fake portrait video generation techniques have been posing a new threat to the society with photorealistic deep fakes for political propaganda, celebrity imitation, forged evidences, and other identity related manipulations. Following these generation techniques, some detection approaches have also been proved useful due to their high classification accuracy. Nevertheless, almost no effort was spent to track down the source of deep fakes. We propose an approach not only to separate deep fakes from real videos, but also to discover the specific generative model behind a deep fake. Some pure deep learning based approaches try to classify deep fakes using CNNs where they actually learn the residuals of the generator. We believe that these residuals contain more information and we can reveal these manipulation artifacts by disentangling them with biological signals. Our key observation yields that the spatiotemporal patterns in biological signals can be conceived as a representative projection of residuals. To justify this observation, we extract PPG cells from real and fake videos and feed these to a state-of-the-art classification network for detecting the generative model per video. Our results indicate that our approach can detect fake videos with 97.29% accuracy, and the source model with 93.39% accuracy.

연구 동기 및 목표

• 딥 페이크 탐지의 핵심적 격차를 해소하기 위해, 비디오가 가짜인지 여부뿐 아니라 어떤 생성 모델이 이를 생성했는지 식별하는 것을 목표로 한다.
• 생물학적 신호, 예를 들어 PPG와 같은 것이 생성 모델 잔차의 해석 가능한 투영으로 기능할 수 있는지 탐구한다.
• 정확성과 원본 분류 성능을 향상시키기 위해 계산적으로 효율적이고 일반화 능력이 뛰어난 탐지 프레임워크를 개발한다.
• 생물학적 신호 공간에서 고유한 잔차 서명을 학습함으로써, 이전에 보지 못한 생성 모델까지 탐지할 수 있도록 한다.

제안 방법

• 혈류와 맥박과 관련된 동역학적 변화를 캡처하기 위해, 비디오 프레임 시퀀스의 얼굴 영역에서 32개의 원시 PPG 신호를 추출한다.
• 얼굴 영역과 시간 창을 기반으로 PPG 신호의 진폭과 스펙트럼 밀도를 인코딩하여 시공간적 PPG 셀을 구성한다.
• 비디오의 원본 생성 모델을 분류하기 위해, 사전 훈련된 딥 네트워크(예: VGG19, DenseNet201)에 PPG 셀을 입력한다.
• 비디오 윈도우 전반에 걸쳐 프레임 수준의 예측을 평균 로그 오즈를 사용해 집계하여 최종 비디오 분류 결과를 도출한다.
• 데이터 증강을 사용하고 다중 클래스 교차 엔트로피 손실을 적용하여 FaceForensics++ 데이터셋에서 모델을 훈련하고 원본 식별을 위해 사용한다.
• 비교적 간단한 아키텍처를 사용한 실험과 함께, UADFV, CelebDF, DeepFakeDataset와 같은 미사용 데이터셋에서의 일반화 성능을 평가하여 미지의 생성기 대비 강인함을 검증한다.

실험 결과

연구 질문

• RQ1 PPG와 같은 생물학적 신호가 딥 페이크 비디오의 생성 모델 전용 잔차를 신뢰성 있게 대체할 수 있는가?
• RQ2 생리적 신호의 관점에서 잔차를 해석함으로써, 가짜/진짜 탐지 및 원본 식별 정확도가 향상되는가?
• RQ3 제안된 방법이 이전에 보지 못한 또는 알려지지 않은 생성 모델이 생성한 딥 페이크를 탐지하는 데 일반화 가능한가?
• RQ4 프레임 기반 또는 얼굴 ROI 기반 분류와 비교했을 때, PPG 신호의 포함 여부가 정확도와 계산 효율성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 FaceForensics++ 데이터셋에서 97.29%의 정확도로 비디오를 진짜 또는 가짜로 분류하여, 프레임 기반 기준선을 크게 능가한다.
• 네 개의 딥 페이크 생성기와 진짜 비디오 중에서 원본 생성 모델을 식별하는 데 93.39%의 정확도를 달성하여 강력한 원본 식별 능력을 입증한다.
• 단일 GPU에서 100 에포크당 훈련 시간을 29시간에서 단 2시간 35분으로 줄여, 기존의 프레임 기반 방법에 비해 매우 효율적임을 입증한다.
• UADFV 및 CelebDF와 같은 미사용 데이터셋에서 테스트한 결과, 진짜 비디오의 93.61%와 딥 페이크의 95.83%를 정확히 분류하여, 미지의 생성기 대비 강인함을 확인한다.
• 훈련 중에 진짜 클래스를 제거함으로써 원본 탐지 정확도가 향상되었으며, 환경적 잡음으로 인한 소음 감소를 통해 진짜 비디오가 PPG 공간에서 '혼란스럽다'는 가설을 검증한다.
• VGG19, DenseNet201 등의 다양한 백본 아키텍처에 대해 잘 일반화되며, Xception과 같은 복잡한 아키텍처를 10% 이상의 정확도 향상으로 능가한다.