[논문 리뷰] Protecting President Zelenskyy against Deep Fakes

Matyáš Boháček, Hany Farid|arXiv (Cornell University)|2022. 06. 24.

Face Recognition and Perception인용 수 5

한 줄 요약

이 논문은 우크라이나 대통령의 진짜 영상 약 8시간에서 추출한 얼굴 및 제스처 행동 특징을 활용해 신원 기반 딥페이크 탐지 시스템을 제안한다. 고유한 머리 및 손 움직임을 모델링함으로써, 실제 젠스키이와 딥페이크 모의자 간을 99.88%의 정확도로 구분할 수 있으며, 전쟁 지역에서의 가짜 정보 유포에 대한 강력한 방어 수단을 제공한다.

ABSTRACT

The 2022 Russian invasion of Ukraine is being fought on two fronts: a brutal ground war and a duplicitous disinformation campaign designed to conceal and justify Russia's actions. This campaign includes at least one example of a deep-fake video purportedly showing Ukrainian President Zelenskyy admitting defeat and surrendering. In anticipation of future attacks of this form, we describe a facial and gestural behavioral model that captures distinctive characteristics of Zelenskyy's speaking style. Trained on over eight hours of authentic video from four different settings, we show that this behavioral model can distinguish Zelenskyy from deep-fake imposters.This model can play an important role -- particularly during the fog of war -- in distinguishing the real from the fake.

연구 동기 및 목표

• 러시아의 우크라이나 침공 기간 동안 세계 지도자를 대상으로 한 딥페이크 영상의 위협을 해결하기 위해.
• 특정 개인을 대상으로 한 강력한, 신원 기반 탐지 시스템을 개발하여 행동 생체 인식 특징을 활용해 실제 영상와 합성 영상 간을 구분하기 위해.
• 기존의 얼굴 기반 딥페이크 탐지 방식을 향상시키기 위해 동적 제스처 특징을 통합함으로써, 더 높은 구분 능력과 스푸핑에 대한 저항력을 확보하기 위해.
• 위기 상황에서 핵심 정치 인물들을 보호하기 위한 실용적이고 구현 가능한 방어 수단을 마련하기 위해.

제안 방법

• 공개 연설, 브리핑, 지하보급, 비공식 인터뷰 등 네 가지 상황에서 총 506분의 젠스키이 진짜 영상 자료를 수집 및 분석하였다.
• 2차원 및 3차원 얼굴 지점에서 유도된 3D 머리 자세(Rx, Ry, Rz), 손 관절 위치(어깨, 팔목, 팔꿈치), 얼굴 운동 단위(AUs)를 포함한 총 496개의 얼굴 및 제스처 특징을 추출하였다.
• 실제 젠스키이와 딥페이크 모의자, 다른 세계 지도자 영상 간을 구분하기 위해 얼굴 및 제스처 특징의 조합을 사용한 이진 분류기 학습을 수행하였다.
• 일반화 능력과 특이성 평가를 위해 실제 젠스키이, 딥페이크 젠스키이, 다른 세계 지도자 영상가 포함된 보류 테스트 세트를 사용해 모델 성능을 평가하였다.
• 500번의 무작위 특징 조합 시험을 통해 가장 구분 능력이 높은 특징 조합을 특정하였으며, 머리 움직임과 손 제스처 간의 상관관계를 중심으로 분석하였다.
• 500개의 분류기에서의 중앙값 정확도를 활용해 특징 중요도를 순위 매겼으며, 머리 자세와 손 움직임 간의 상관관계가 가장 예측력이 높은 것으로 확인되었다.

실험 결과

연구 질문

• RQ1 실제 젠스키이 영상 자료만을 사용해 행동 기반의 신원 특화 모델이 딥페이크 영상 탐지에 효과적으로 기능할 수 있는가?
• RQ2 얼굴 습관과 제스처 특징이 함께 사용될 경우, 단순 얼굴 특징만을 사용할 때보다 딥페이크 탐지 정확도는 얼마나 향상되는가?
• RQ3 특히 머리 움직임과 손 제스처 간의 상관관계를 포함한 가장 구분 능력이 높은 특징들이 탐지 성능에 얼마나 기여하는가?
• RQ4 다른 세계 지도자 영상과 딥페이크 젠스키이 영상에 대해 테스트했을 때 모델의 일반화 능력은 어떠한가?
• RQ5 높은 탐지 정확도를 달성하기 위해 필요한 최소한의 특징 수는 얼마이며, 특징 집합 크기 증가에 따라 성능은 어떻게 변화하는가?

주요 결과

• 496개의 얼굴 및 제스처 특징을 모두 사용할 경우, 실제 젠스키이와 가짜 젠스키이 간의 탐지 정확도가 99.88%에 도달하여 거의 완벽한 분류 성능을 보였다.
• 400개의 특징을 사용할 경우 정확도가 99.52%에 도달하여, 중간 크기의 특징 집합에서 성능이 정점에 이르며, 이는 특징 활용의 높은 효율성을 시사한다.
• 가장 구분 능력이 높은 상위 10개 특징 조합(예: 머리 자세-Rx와 오른쪽 팔꿈치-y)은 분류기 정확도 44.4%를 기록하였으며, 무작위 특징 조합의 중앙값 8.4%보다 뚜렷이 높은 성능을 보였다.
• 머리 회전(예: 고개 끄덕임)과 제스처 간의 상관관계가 가장 예측력 있는 신호로 확인되어, 다중 모odal 행동 모델링의 중요성을 입증하였다.
• 상위 20개 특징만을 사용한 단일 분류기의 정확도는 63.4%에 달하며, 높은 성능을 달성하기 위해서는 종합적인 특징 집합이 필수적임을 시사한다.
• 다양한 상황에서 높은 성능 유지로 인해 행동 모델이 다양한 말하기 스타일과 환경 간에도 잘 일반화됨을 확인하였다.