[论文解读] Interpretable Deepfake Detection via Dynamic Prototypes.
本文提出动态原型网络（DPNet），一种可解释的深度伪造检测模型，通过动态原型捕捉并解释视频中的时序视觉动态。通过将帧级特征建模为演化的原型，DPNet在保持优越真实解释保真度的同时，实现了最先进水平的检测性能，并可通过时序逻辑规范进行形式化验证。
Deepfake is one notorious application of deep learning research, leading to massive amounts of video content on social media ridden with malicious intent. Therefore detecting deepfake videos has emerged as one of the most pressing challenges in AI research. Most state-of-the-art deepfake solutions are based on black-box models that process videos frame-by-frame for inference, and they do not consider temporal dynamics, which are key for detecting and explaining deepfake videos by humans. To this end, we propose Dynamic Prototype Network (DPNet) - a simple, interpretable, yet effective solution that leverages dynamic representations (i.e., prototypes) to explain deepfake visual dynamics. Experiment results show that the explanations of DPNet provide better overlap with the ground truth than state-of-the-art methods with comparable prediction performance. Furthermore, we formulate temporal logic specifications based on these prototypes to check the compliance of our model to desired temporal behaviors.
研究动机与目标
- 为解决处理帧时孤立的黑箱深度伪造检测模型缺乏可解释性的问题。
- 对深度伪造视频中的时序动态进行建模，以实现更准确且可解释的检测。
- 开发一种通过学习动态视觉原型生成人类可理解解释的方法。
- 通过从原型派生的时序逻辑规范，实现对模型行为的形式化验证。
提出的方法
- DPNet学习代表视频帧间演化视觉模式的动态原型，以捕捉时序动态。
- 在推理过程中，通过视频帧的特征表示动态更新原型。
- 该模型使用基于原型的注意力机制，根据原型相似性来衡量帧的重要性。
- 从原型自动生成时序逻辑规范，以验证期望的行为属性。
- 该框架将检测与解释统一于一个端到端可训练的架构中。
- 解释源自原型激活图，可突出显示最能指示伪造行为的区域与帧。
实验结果
研究问题
- RQ1动态原型是否能在保持高准确率的同时提升深度伪造检测模型的可解释性？
- RQ2基于原型的解释与人类标注的真实标注在深度伪造伪影上的一致性如何？
- RQ3从原型派生的时序逻辑规范能否验证模型遵循预期时序行为？
- RQ4与逐帧处理的基线方法相比，建模时序动态在多大程度上提升了检测性能？
- RQ5模型的解释能否通过形式化验证来验证其推理过程？
主要发现
- DPNet的检测性能与最先进水平的黑箱模型相当。
- DPNet生成的解释与现有方法相比，与真实标注的重叠度显著更高。
- 基于原型的解释能有效突出深度伪造伪影最显著的时空区域。
- 从原型派生的时序逻辑规范成功验证了模型预测中期望的行为模式。
- 动态原型机制同时实现了高精度检测与忠实、人类可理解的解释。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。