[논문 리뷰] Hybrid Deepfake Detection Utilizing MLP and LSTM

Jacob Mallet, Natalie Krueger외 2명|arXiv (Cornell University)|2023. 04. 21.

Digital Media Forensic Detection인용 수 4

한 줄 요약

이 논문은 이미지 내 합성 얼굴을 탐지하기 위해 장기 기억 순환 신경망(LSTM)과 다층 퍼셉트론(MLP) 네트워크를 조합한 하이브리드 딥페이크 탐지 모델을 제안한다. 140만 장의 실물 및 가짜 얼굴 데이터셋으로 훈련된 모델은 최대 74.7%의 탐지 정확도를 달성하여 순차적 모델링과 밀집 전방향 처리를 조합함으로써 딥페이크 식별에 효과적임을 입증한다.

ABSTRACT

The growing reliance of society on social media for authentic information has done nothing but increase over the past years. This has only raised the potential consequences of the spread of misinformation. One of the growing methods in popularity is to deceive users using a deepfake. A deepfake is an invention that has come with the latest technological advancements, which enables nefarious online users to replace their face with a computer generated, synthetic face of numerous powerful members of society. Deepfake images and videos now provide the means to mimic important political and cultural figures to spread massive amounts of false information. Models that can detect these deepfakes to prevent the spread of misinformation are now of tremendous necessity. In this paper, we propose a new deepfake detection schema utilizing two deep learning algorithms: long short term memory and multilayer perceptron. We evaluate our model using a publicly available dataset named 140k Real and Fake Faces to detect images altered by a deepfake with accuracies achieved as high as 74.7%

연구 동기 및 목표

• 소셜 미디어 플랫폼에서 증가하는 딥페이크 오락성 정보의 위협을 해결하기 위해.
• 이미지 내 합성 얼굴을 식별할 수 있는 강력한 딥페이크 탐지 시스템을 개발하기 위해.
• LSTM 및 MLP 아키텍처를 조합한 하이브리드 모델의 성능을 평가하기 위해.
• 딥페이크 탐지에 시간적 및 공간적 특징 추출을 모두 활용하는 새로운 딥러닝 접근법을 기여하기 위해.

제안 방법

• 모델은 이미지 프레임 또는 패치 간 얼굴 특징의 순차적 패턴을 캡처하기 위해 LSTM 네트워크를 활용한다.
• 다층 퍼셉트론(MLP)은 추출된 이미지 특징에서 고차원의 비선형 표현을 학습하기 위해 사용된다.
• 특징들은 실물 및 딥페이크 생성된 얼굴 이미지를 포함하는 140만 장의 실물 및 가짜 얼굴 데이터셋에서 추출된다.
• LSTM과 MLP의 출력이 융합되어 입력 이미지가 실물인지 가짜인지에 대한 최종 예측을 생성한다.
• 모델는 표준 역전파 알고리즘과 카테고리형 교차 엔트로피 손실, Adam 최적화를 사용하여 훈련된다.
• 일반화 성능 향상과 훈련 안정성 향상을 위해 데이터 증강 및 정규화 기법이 적용된다.

실험 결과

연구 질문

• RQ1 단일 모델 대비 LSTM과 MLP를 조합한 하이브리드 아키텍처가 딥페이크 탐지 정확도 향상에 기여하는가?
• RQ2 순차적(LSTM) 및 밀집(MLP) 모델링의 융합은 딥페이크 이미지의 미세한 결함 탐지에 얼마나 효과적인가?
• RQ3 이 하이브리드 접근법을 사용할 경우 140만 장의 실물 및 가짜 얼굴 데이터셋에서 달성 가능한 성능 수준은 무엇인가?
• RQ4 시간적 모델링과 전방향 처리의 통합이 합성 얼굴 특징 탐지에 향상 효과를 주는가?

주요 결과

• 하이브리드 LSTM-MLP 모델은 140만 장의 실물 및 가짜 얼굴 데이터셋에서 최대 74.7%의 탐지 정확도를 달성했다.
• LSTM 및 MLP 구성 요소의 통합은 각각을 별도로 사용할 경우보다 탐지 성능 향상에 기여했다.
• 모델는 딥페이크 생성을 시사하는 복잡한 비선형 패턴을 얼굴 특징에서 학습할 수 있었다.
• 결과는 순차적 및 밀집 신경망 아키텍처의 조합이 합성 얼굴 콘텐츠 탐지 능력을 향상시킨다는 것을 시사한다.