[논문 리뷰] Detecting Deepfake Videos: An Analysis of Three Techniques

Armaan Pishori, Brittany Rollins외 3명|arXiv (Cornell University)|2020. 07. 15.

Digital Media Forensic Detection참고 문헌 8인용 수 14

한 줄 요약

이 논문은 캐글 딥페이크 검출 챌린지 기간 동안 세 가지 딥페이크 검출 기법—합성곱 LSTM, 눈 깜빡임 검출, 회색조 히스토그램—을 평가한다. 합성곱 LSTM 모델은 GAN으로 생성된 아티팩트를 영상 프레임 전반에 걸쳐 식별함으로써 가장 높은 성능을 달성했으며, 시간적 동역학을 통합했을 때 회색조 히스토그램은 계산 자원 제약에도 불구하고 기준 모델을 능가하는 높은 정확도를 보이며 큰 잠재력을 보였다.

ABSTRACT

Recent advances in deepfake generating algorithms that produce manipulated media have had dangerous implications in privacy, security and mass communication. Efforts to combat this issue have risen in the form of competitions and funding for research to detect deepfakes. This paper presents three techniques and algorithms: convolutional LSTM, eye blink detection and grayscale histograms-pursued while participating in the Deepfake Detection Challenge. We assessed the current knowledge about deepfake videos, a more severe version of manipulated media, and previous methods used, and found relevance in the grayscale histogram technique over others. We discussed the implications of each method developed and provided further steps to improve the given findings.

연구 동기 및 목표

• 캐글 딥페이크 검출 챌린지의 맥락에서 세 가지 딥페이크 검출 기법—합성곱 LSTM, 눈 깜빡임 검출, 회색조 히스토그램—을 평가하고 비교하는 것.
• 사전처리 기법이 딥페이크 검출 정확도를 향상시키는 데 기여하는지 평가하는 것.
• 계산 자원 제약과 데이터셋 크기로 인한 현재 검출 모델의 한계를 규명하는 것.
• 시간 모델링을 향상시킨 회색조 히스토그램이 강력하고 확장 가능한 딥페이크 검출 방법으로서의 잠재력을 탐색하는 것.

제안 방법

• 합성곱 LSTM 아키텍처를 구현하여 CNN를 통한 공간적 특징 추출과 LSTM를 통한 시간적 시퀀스 모델링을 조합함으로써 영상 프레임 전반에 걸친 아티팩트 검출을 가능하게 하였다.
• 장기 순환 합성곱 신경망(LRCN)을 사용하여 눈 감기 패턴의 시간적 패턴을 분석함으로써 딥페이크에서 빠지는 깜빡임의 생물학적 비합리성을 활용한 눈 깜빡임 검출을 수행하였다.
• 각 영상 프레임에 대해 회색조 히스토그램을 계산하고 시간에 따라 집계하였으며, 픽셀 강도 분포의 동적 변화를 포착하기 위해 시간적 확장을 도입하였다.
• 모델은 총 500GB의 진짜 및 위조 영상 데이터셋 중 50GB의 서브셋으로 훈련되었으며, 성능은 로그 손실(log loss)을 통해 측정되었다.
• 데이터 사전처리로는 프레임 크기 조정, 얼굴 자르기, 시간 샘플링을 수행하여 계산 부담을 줄였지만 검출에 유의미한 특징는 유지하였다.
• 모델 성능은 검증 및 테스트 분할에서 평가되었으며, 개선 여부를 평가하기 위해 기준 모델과 비교하였다.

실험 결과

연구 질문

• RQ1 합성곱 LSTM 모델은 영상 프레임 전반에 걸쳐 GAN으로 생성된 아티팩트를 식별함으로써 딥페이크 검출에 얼마나 효과적인가?
• RQ2 눈 깜빡임 패턴은 얼마나 신뢰할 수 있는 합성 영상 지표가 되며, 데이터 품질에 따라 모델 성능은 어떻게 변하는가?
• RQ3 시간적 동역학을 통합한 회색조 히스토그램은 기존의 히스토그램 기반 검출 방법보다 딥페이크 분류에서 뛰어난 성능을 보일 수 있는가?
• RQ4 계산 자원 제약과 제한된 데이터셋 크기는 딥페이크 검출 모델의 정확도에 어떤 영향을 미치는가?
• RQ5 전체 프레임이 아닌 특정 얼굴 영역에 집중할 경우, 히스토그램 기반 검출 모델의 성능은 어떻게 영향을 받는가?

주요 결과

• 합성곱 LSTM 모델은 세 기법 중에서 가장 높은 성능를 기록했으며, 얼굴이 주요 초점이 아니더라도 영상 프레임 전반에 걸쳐 GAN으로 생성된 아티팩트를 효과적으로 식별했다.
• 눈 깜빡임 검출은 잠재력이 있었지만, 위조 영상 데이터에 있는 이질치(outliers)로 인해 성능에 영향을 받았으며, 이는 데이터 품질과 분포에 민감함을 시사했다.
• 회색조 히스토그램은 높은 정확도와 낮은 검증 손실을 보였으며, 계산 비용이 높음에도 불구하고 다른 방법들을 능가했으며, 더 큰 데이터셋에서의 잠재력이 높음을 시사했다.
• 회색조 히스토그램 모델의 시간적 확장은 이전에 61%의 정확도를 기록한 정적 히스토그램 기반 검출기보다 정확도 향상에 크게 기여했다.
• 모든 모델이 정확도 80–90% 범위를 기록했지만, 계산 자원 제약으로 전체 500GB 데이터셋 중 50GB만 사용된 점으로 인해 성능이 제한되었다.
• 본 연구는 얼굴 영역에 집중하는 지역 특화 히스토그램 분석이 전체 프레임이 아닌 영역에서의 잡음 감소를 통해 검출 정확도를 크게 향상시킬 수 있을 것이라고 결론내렸다.