[논문 리뷰] In Ictu Oculi: Exposing AI Generated Fake Face Videos by Detecting Eye Blinking

Yuezun Li, Ming‐Ching Chang외 1명|arXiv (Cornell University)|2018. 06. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 17인용 수 181

한 줄 요약

이 논문은 시계열 눈 동역학을 활용하는 Long-term Recurrent Convolutional Network (LRCN)으로 눈 깜박임을 분석하여 AI-생성 가짜 얼굴 비디오를 탐지하는 포렌식 방법을 제시한다. 진짜 비디오와 합성 비디오를 구분한다.

ABSTRACT

The new developments in deep generative networks have significantly improve the quality and efficiency in generating realistically-looking fake face videos. In this work, we describe a new method to expose fake face videos generated with neural networks. Our method is based on detection of eye blinking in the videos, which is a physiological signal that is not well presented in the synthesized fake videos. Our method is tested over benchmarks of eye-blinking detection datasets and also show promising performance on detecting videos generated with DeepFake.

연구 동기 및 목표

• AI로 생성된 가짜 얼굴 비디오에 대한 포렌식의 필요성을 제시한다.
• 신뢰할 수 있는 포렌식 신호로서 생리적 단서인 눈 깜박임을 제안한다.
• 눈 깜박임 부재를 탐지하기 위해 눈의 시간적 동역학을 포착하는 딥러닝 아키텍처를 개발한다.
• 눈 깜박임 데이터셋과 DeepFake 생성 비디오에서 이 방법을 평가한다.

제안 방법

• 프레임마다 얼굴을 검출하고 이를 표준 좌표계에 맞춘다.
• 랜드마크를 기반으로 눈 영역을 잘라 눈 시퀀스를 형성한다.
• 최종 완전히 연결된 계층을 제외한 프레임 수준의 눈 특징을 추출하기 위해 VGG16 기반 CNN을 사용한다.
• LSTM이 포함된 Long-term Recurrent Convolutional Network (LRCN)을 사용하여 시간적 눈 깜박임 동역학을 모델링한다.
• 오픈/클로즈드 눈 레이블로 프런트 엔드 CNN을 학습한 후, 시간 역전파를 통해 LRCN을 엔드투엔드로 학습한다.

실험 결과

연구 질문

• RQ1 AI-생성 비디오에서 눈 깜박임의 부재나 불규칙성이 탐지 가능한 인공물로 작용할 수 있는가?
• RQ2 LRCN을 통해 시간 정보를 도입하면 프레임 단위 CNN이나 랜드마크 기반 방법보다 눈 상태 분류가 향상되는가?
• RQ3 눈 깜박임 기반 방법이 DeepFake 생성 콘텐츠에 얼마나 잘 일반화되는가?
• RQ4 실제 비디오와 가짜 비디오에서 견고한 눈 깜박임 탐지를 얻기 위한 데이터셋과 학습 전략은 무엇인가?

주요 결과

• LRCN은 ROC 0.99로 가장 높은 성능을 달성하며 CNN(0.98)과 EAR(0.79)를 앞서다.
• CNN만으로는 개별 프레임에서 눈 상태를 포착하지만 시간적 일관성이 부족하다.
• LSTM을 통한 시간적 동역학 모델링은 모호한 프레임에 대한 견고성을 높이고 매끄러운 눈 상태 시퀀스를 유지한다.
• 이 방법은 실제 비디오에서 눈 깜박임 패턴을 감지하지만 DeepFake 생성 비디오에서는 종종 이를 놓치거나 변경한다.
• 전용 Eye Blinking Video (EBV) 데이터셋이 생성되어 CEW 및 다른 데이터셋과 함께 평가에 사용되었다.
• 이 방법은 DeepFake로 생성된 비디오를 탐지하는 데 유망한 성능을 보인다.