[논문 리뷰] Interpretable Deepfake Detection via Dynamic Prototypes.

Loc Trinh, Michael Tsang외 2명|arXiv (Cornell University)|2020. 06. 28.

Generative Adversarial Networks and Image Synthesis참고 문헌 27인용 수 5

한 줄 요약

이 논문은 영상의 시간적 시각적 동적 특성을 포착하고 설명할 수 있는 해석 가능한 딥페이크 탐지 모델인 동적 프로토타입 네트워크(DPNet)를 제안한다. DPNet는 화면 수준의 특징을 변화하는 프로토타입으로 모델링하여 상태최저 성능을 달성하면서도 진정성 있는 설명을 제공하며, 시간 논리 명세를 통한 형식적 검증도 가능하다.

ABSTRACT

Deepfake is one notorious application of deep learning research, leading to massive amounts of video content on social media ridden with malicious intent. Therefore detecting deepfake videos has emerged as one of the most pressing challenges in AI research. Most state-of-the-art deepfake solutions are based on black-box models that process videos frame-by-frame for inference, and they do not consider temporal dynamics, which are key for detecting and explaining deepfake videos by humans. To this end, we propose Dynamic Prototype Network (DPNet) - a simple, interpretable, yet effective solution that leverages dynamic representations (i.e., prototypes) to explain deepfake visual dynamics. Experiment results show that the explanations of DPNet provide better overlap with the ground truth than state-of-the-art methods with comparable prediction performance. Furthermore, we formulate temporal logic specifications based on these prototypes to check the compliance of our model to desired temporal behaviors.

연구 동기 및 목표

• 단일 프레임으로 처리하는 블랙박스 딥페이크 탐지 모델의 해석 가능성 부족 문제를 해결하기 위해.
• 딥페이크 영상의 시간적 역동성을 모델링하여 보다 정확하고 해석 가능한 탐지 성능을 향상시키기 위해.
• 동적 시각 프로토타입을 학습함으로써 인간이 이해할 수 있는 설명을 생성하는 방법을 개발하기 위해.
• 프로토타입에서 유도된 시간 논리 명세를 사용하여 모델 행동의 형식적 검증을 가능하게 하기 위해.

제안 방법

• DPNet는 영상 프레임 간 변화하는 시각 패턴을 나타내는 동적 프로토타입을 학습한다. 이는 시간적 역동성을 포착한다.
• 프레임의 특징 표현을 사용하여 추론 중에 프로토타입을 동적으로 업데이트한다.
• 프로토타입 유사도 기반으로 프레임 중요도를 가중치 부여하는 프로토타입 기반 어텐션 메커니즘을 사용한다.
• 시간 논리 명세는 프로토타입에서 자동으로 생성되어 모델 예측의 바람직한 행동 특성을 검증한다.
• 탐지 및 설명 기능을 통합한 유일한 엔드 투 엔드 학습 가능한 아키텍처를 통합한다.
• 설명은 프로토타입 활성도 맵에서 유도되며, 위조의 징후가 가장 뚜렷한 영역과 프레임을 강조한다.

실험 결과

연구 질문

• RQ1 동적 프로토타입은 높은 정확도를 유지하면서도 딥페이크 탐지 모델의 해석 가능성 향상에 기여하는가?
• RQ2 프로토타입 기반 설명은 딥페이크 아티팩트에 대해 인간이 애너테이션한 기준값과 얼마나 잘 일치하는가?
• RQ3 프로토타입에서 유도된 시간 논리 명세는 모델이 기대되는 시간적 행동을 준수하는지 검증할 수 있는가?
• RQ4 프레임 단위 기반 기준 모델 대비 시간적 역동성을 모델링함으로써 탐지 성능 향상은 어느 정도 이루어지는가?
• RQ5 모델의 설명을 형식적 검증을 통해 그 이유를 검토할 수 있는가?

주요 결과

• DPNet는 최신 블랙박스 모델과 비교해 유사한 탐지 성능을 달성한다.
• DPNet가 생성한 설명은 기존 방법보다 기준값 애너테이션과 유의미하게 더 높은 겹침을 보인다.
• 프로토타입 기반 설명은 딥페이크 아티팩트가 가장 두드러지는 시공간 영역을 효과적으로 강조한다.
• 프로토타입에서 유도된 시간 논리 명세는 모델 예측의 바람직한 행동 패턴을 성공적으로 검증한다.
• 동적 프로토타입 메커니즘은 정확한 탐지와 인간이 이해할 수 있는 충실한 설명을 동시에 가능하게 한다.