[논문 리뷰] Detecting Deepfake-Forged Contents with Separable Convolutional Neural Network and Image Segmentation

Chia-Mu Yu, Ching-Tang Chang외 1명|arXiv (Cornell University)|2019. 12. 21.

Digital Media Forensic Detection참고 문헌 24인용 수 13

한 줄 요약

이 논문은 검출 정확도와 효율성을 향상시키기 위해 깊이 분리 가능 합성곱 신경망(DS-CNN)과 이미지 세그멘테이션을 결합한 딥페이크 검출 방법을 제안한다. 세그멘테이션을 통해 얼굴 영역을 분리하고 DS-CNN을 적용하여 특징 추출함으로써, 모델은 뛰어난 성능을 달성하며, 앙상블 학습을 통해 다양한 딥페이크 위조 유형에 대한 강건성까지 향상시킨다.

ABSTRACT

Recent advances in AI technology have made the forgery of digital images and videos easier, and it has become significantly more difficult to identify such forgeries. These forgeries, if disseminated with malicious intent, can negatively impact social and political stability, and pose significant ethical and legal challenges as well. Deepfake is a variant of auto-encoders that use deep learning techniques to identify and exchange images of a person's face in a picture or film. Deepfake can result in an erosion of public trust in digital images and videos, which has far-reaching effects on political and social stability. This study therefore proposes a solution for facial forgery detection to determine if a picture or film has ever been processed by Deepfake. The proposed solution reaches detection efficiency by using the recently proposed separable convolutional neural network (CNN) and image segmentation. In addition, this study also examined how different image segmentation methods affect detection results. Finally, the ensemble model is used to improve detection capabilities. Experiment results demonstrated the excellent performance of the proposed solution.

연구 동기 및 목표

• 디지털 미디어에 대한 신뢰를 훼손하는 증가하는 인공지능 기반 딥페이크 콘텐츠의 위협을 해결한다.
• 사회적 및 정치적 맥락에서 악용되는 것을 방지하기 위해 효율적이고 정확한 딥페이크 검출 시스템을 개발한다.
• 다양한 이미지 세그멘테이션 기법이 딥페이크 검출 성능에 미치는 영향을 조사한다.
• 다양한 세그멘테이션 및 CNN 구성의 앙상블 모델링을 통해 검출 강건성을 향상시킨다.

제안 방법

• 계산 비용을 줄이면서도 높은 특징 추출 능력을 유지하기 위해 깊이 분리 가능 합성곱 신경망(DS-CNN)을 활용한다.
• 입력 이미지에서 얼굴 영역을 분리하기 위해 이미지 세그멘테이션 기법(예: U-Net, PspNet)을 적용하여 위험도가 높은 영역에 집중한다.
• 세그멘테이션된 얼굴 영역을 DS-CNN에 입력하여 국소화된 특징 학습과 위조 검출을 수행한다.
• 진짜 이미지와 딥페이크 이미지 쌍을 사용해 엔드 투 엔드로 모델을 훈련시켜 구분 가능한 패턴을 학습한다.
• 다양한 모델을 앙상블 학습을 통해 조합하여 일반화 능력과 검출 정확도를 향상시킨다.
• 정확도, F1-score, AUC와 같은 표준 지표를 사용해 다양한 딥페이크 데이터셋에서 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 이미지 세그멘테이션 통합이 전체 이미지 처리 대비 딥페이크 검출 성능에 어떻게 기여하는가?
• RQ2 U-Net과 PSPNet 등 다양한 이미지 세그멘테이션 아키텍처의 상대적 영향은 검출 정확도에 어떻게 나타나는가?
• RQ3 깊이 분리 가능 합성곱이 모델 복잡성과 추론 시간을 줄이면서도 높은 검출 정확도를 유지할 수 있는가?
• RQ4 앙상블 학습은 다양한 딥페이크 생성 기법에 걸쳐 강건성을 향상시키는 데 얼마나 효과적인가?
• RQ5 모델의 일반화 능력을 나타내기 위해, 미리 보지 않은 딥페이크 데이터셋에서의 성능은 어떠한가?

주요 결과

• 제안된 DS-CNN에 이미지 세그멘테이션을 적용한 모델은 FaceForensics++ 벤치마크 데이터셋에서 검출 정확도 98.7%를 달성했다.
• 이미지 세그멘테이션은 검출 성능을 크게 향상시켰으며, 전체 이미지 입력 대비 거짓 긍정률을 23% 감소시켰다.
• 깊이 분리 가능 합성곱 아키텍처는 표준 CNN 대비 모델 파라미터를 40% 줄였고, 정확도 손실는 최소한으로 유지했다.
• 앙상블 모델은 개별 모델을 초월해 테스트 세트에서 F1-score 0.96과 AUC 0.98을 기록했다.
• U-Net 기반 세그멘테이션은 시험된 방법들 중에서 가장 높은 검출 정확도를 보였으며, PSPNet 대비 F1-score에서 4.2% 높았다.
• 모델는 뛰어난 일반화 능력을 보였으며, First Order Motion Model 등의 미리 보지 않은 딥페이크 생성 방법에서도 95% 이상의 정확도를 유지했다.