[논문 리뷰] Deepfake Detection using Biological Features: A Survey

Kundan Patil, Shrushti Kale외 2명|arXiv (Cornell University)|2023. 01. 14.

Digital Media Forensic Detection인용 수 5

한 줄 요약

이 종합 검토는 눈 깜빡임, 눈썹 움직임, 귀와 입의 운동, 맥박률 등의 생물학적 특징을 활용하여 LRCN, GAN, 광plethysmography를 사용한 분류기와 함께 딥페이크 탐지 프레임워크를 제안한다. DeepFakesON-Phys가 최신 기술 수준의 성능을 달성하여 Face Forensics++ 데이터셋에서 기준 모델 대비 25.66% 높은 정확도를 기록하고, Celeb-DF에서 EER이 20.7%임을 입증한다.

ABSTRACT

Deepfake is a deep learning-based technique that makes it easy to change or modify images and videos. In investigations and court, visual evidence is commonly employed, but these pieces of evidence may now be suspect due to technological advancements in deepfake. Deepfakes have been used to blackmail individuals, plan terrorist attacks, disseminate false information, defame individuals, and foment political turmoil. This study describes the history of deepfake, its development and detection, and the challenges based on physiological measurements such as eyebrow recognition, eye blinking detection, eye movement detection, ear and mouth detection, and heartbeat detection. The study also proposes a scope in this field and compares the different biological features and their classifiers. Deepfakes are created using the generative adversarial network (GANs) model, and were once easy to detect by humans due to visible artifacts. However, as technology has advanced, deepfakes have become highly indistinguishable from natural images, making it important to review detection methods.

연구 동기 및 목표

• 딥페이크 기술의 발전 과정과 그로 인한 사회적 위험, 즉 오인 정보 유포, 비공개 성관계 영상 유포, 정치적 오용 등의 영향을 분석하기 위해.
• 기존의 픽셀 수준의 잔상에 의존하는 탐지 기법의 한계를 규명하기 위해. 이러한 기법들은 GAN 기술의 발전에 따라 시각적 이상 징후를 제거함에 따라 더 이상 효과를 발휘하지 못한다.
• 기존 픽셀 영역 분석에 비해 더 신뢰할 수 있는 대안으로서 생물학적 특징 기반 탐지의 타당성과 강건성을 탐구하기 위해.
• 눈 깜빡임, 맥박률, 얼굴 근육 운동 등의 생리적 및 행동적 신호가 딥페이크 탐지에서 진정성의 불변 기준으로 기능할 수 있는지 평가하기 위해.
• 생물학적 특징 탐지의 잠재적 취약점, 예를 들어 메이크업이나 영상 필터를 통해 눈썹이나 눈 주변 윤곽을 조작하여 탐지 시스템을 우회할 수 있는 공격 벡터를 평가하기 위해.

제안 방법

• 생성적 적대 신경망(GANs)을 활용하여 생성자 모델이 현실적인 가짜 영상을 생성하고, 검증자 모델이 진위를 확인하도록 훈련함으로써 딥페이크 영상을 생성한다.
• 생물학적 특징 추출 기법을 적용: LRCN 모델을 통한 눈 깜빡임 감지, LightCNN와 ResNet를 활용한 눈썹 움직임 분석, 귀와 입의 운동을 위한 청각적 및 구강 분석, 광plethysmography(PPG)와 심전도(ECG) 신호를 통한 맥박률 측정.
• 프레임 수준 및 영상 수준의 분석을 통해 생리적 리듬과 운동의 이질성을 탐지함. 예를 들어, 일관되지 않은 깜빡임 빈도나 자연스럽지 않은 눈꺼풀 개방도를 확인한다.
• 반복적이거나 비정상적인 눈 깜빡임 패tern이 인간의 자연스러운 행동과 다를 경우 이를 탐지하기 위해 적대적 네트워크(GANs)를 탐지 메커니즘으로 통합한다.
• Celeb-DF, UADFV, Face Forensics++, UBIRIS, CASIA 등의 벤치마크 데이터셋을 활용하여 성능을 검증하고, 다양한 데이터셋 간의 평가를 통해 강건성을 확보한다.
• 다양한 생물학적 특징을 통합하여 단일 탐지 프레임워크인 DeepFakesON-Phys를 구성함으로써 탐지 정확도를 향상시키고, 오류 경고율을 감소시킨다.

실험 결과

연구 질문

• RQ1 눈 깜빡임, 맥박률, 얼굴 근육 운동 등의 생물학적 특징이 진짜 영상와 가짜 영상 간의 구분에 신뢰할 수 있는 지표로 기능할 수 있는가?
• RQ2 LRCN, ResNet, 자동재귀 모델 등 다양한 분류기의 생물학적 신호에서의 딥페이크 아티팩트 탐지 성능은 어떻게 다른가?
• RQ3 고도로 발전한 GAN 기반 딥페이크는 전통적인 픽셀 수준의 분석으로부터 얼마나 효과적으로 회피되는가? 생물학적 특징은 이러한 한계를 극복할 수 있는가?
• RQ4 메이크업이나 필터를 통해 눈썹이나 눈 주변 윤곽을 조작하는 등의 방식으로 생물학적 특징을 조작할 수 있는 잠재적 공격 벡터는 무엇인가?
• RQ5 제안된 DeepFakesON-Phys 프레임워크는 다양한 데이터셋에서 최신 기술 수준의 탐지 방법과 비교해 정확도와 일반화 능력 측면에서 어떻게 성과를 내는가?

주요 결과

• DeepFakesON-Phys는 기준 네트워크와 함께 사용했을 때 Face Forensics++ 데이터셋에서 최신 기술 수준의 성능을 25.66% 높은 정확도로 초월한다.
• Celeb-DF 데이터셋에서 눈썹 움직임 특징을 LightCNN와 ResNet를 사용해 탐지했을 때 Equal Error Rate(EER)가 20.7%를 기록한다.
• LRCN 방법을 활용한 눈 깜빡임 감지 기법은 벤치마크 데이터셋에서 뛰어난 성능을 보이며, 비정상적인 깜빡임 패턴을 가진 딥페이크 영상을 효과적으로 식별한다.
• 광plethysmography(PPG)와 자동재귀 모델을 조합하면 Face Forensics++ 데이터셋에서 기준 접근 방식 대비 맥박률 탐지 정확도가 1.48% 향상된다.
• 64개의 유튜브 영상(예: 조 바이든, 안젤라 메르켈 등)에 대해 청각적 및 구강 운동의 동적 분석을 수행한 결과, 귀와 입의 움직임에서 미세한 이질성을 효과적으로 포착하였다.
• 연구에서 드러난 핵심 취약점은 고성능 영상 필터와 메이크업이 눈썹과 미세한 주름 등의 얼굴 특징을 조작함으로써 생물학적 특징 기반 탐지 시스템에서 잘못된 경고를 유발할 수 있다는 점이다.