[论文解读] Disentangle and Remerge: Interventional Knowledge Distillation for Few-Shot Object Detection from A Conditional Causal Perspective

Jiangmeng Li, Yanan Zhang+6 more|arXiv (Cornell University)|Aug 26, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出 D&R（解耦与重聚），一种基于因果干预的知识蒸馏方法，用于少样本目标检测，可缓解教师模型错误导致的性能下降。通过将知识蒸馏建模为结构因果模型并应用反向门调整，D&R 改进了语义特征学习，在 COCO 和 VOC 基准上实现了最先进性能，尤其在少样本设置下取得显著提升。

ABSTRACT

Few-shot learning models learn representations with limited human annotations, and such a learning paradigm demonstrates practicability in various tasks, e.g., image classification, object detection, etc. However, few-shot object detection methods suffer from an intrinsic defect that the limited training data makes the model cannot sufficiently explore semantic information. To tackle this, we introduce knowledge distillation to the few-shot object detection learning paradigm. We further run a motivating experiment, which demonstrates that in the process of knowledge distillation, the empirical error of the teacher model degenerates the prediction performance of the few-shot object detection model as the student. To understand the reasons behind this phenomenon, we revisit the learning paradigm of knowledge distillation on the few-shot object detection task from the causal theoretic standpoint, and accordingly, develop a Structural Causal Model. Following the theoretical guidance, we propose a backdoor adjustment-based knowledge distillation method for the few-shot object detection task, namely Disentangle and Remerge (D&R), to perform conditional causal intervention toward the corresponding Structural Causal Model. Empirically, the experiments on benchmarks demonstrate that D&R can yield significant performance boosts in few-shot object detection. Code is available at https://github.com/ZYN-1101/DandR.git.

研究动机与目标

• 解决在使用知识蒸馏时，由于教师模型错误导致少样本目标检测性能下降的问题。
• 从因果推断的角度，探究知识蒸馏在少样本检测中性能下降的根本原因。
• 构建一个因果模型，捕捉教师预测、学生学习与目标标签之间的关系。
• 设计一种基于反向门调整的蒸馏方法，通过干预因果结构以提升学生模型的泛化能力。
• 在多个基准和教师模型上验证所提方法的有效性与鲁棒性。

提出的方法

• 作者构建了结构因果模型（SCM），以形式化少样本目标检测中输入数据、教师模型输出与学生预测之间的因果关系。
• 他们发现教师模型中的经验性错误会负面影响学生性能，由于潜在混淆因素的存在，违反了标准反向门准则。
• D&R 应用反向门调整，干预因果图，使蒸馏过程中能将真实语义知识与教师错误分离。
• 该方法使用基于文本的教师模型（如 CLIP 文本编码器）提供密集的语义监督，提升特征学习效率。
• 引入可学习的超参数 α 和 β，以平衡蒸馏损失中不同知识组件的影响。
• 蒸馏损失通过温度缩放和加权损失组件进行优化，消融实验确认了最优超参数设置。

实验结果

研究问题

• RQ1 为何在使用强大教师模型时，知识蒸馏在少样本目标检测中仍会降低性能？
• RQ2 教师模型中的经验性错误如何传播并导致学生模型预测性能下降？
• RQ3 因果框架能否帮助识别并纠正知识蒸馏中的有害知识迁移？
• RQ4 为确保仅高质量知识被传递，蒸馏过程需要哪些修改？
• RQ5 与基于图像或词嵌入的教师模型相比，使用基于文本的教师模型在性能和效率方面表现如何？

主要发现

• D&R 在 COCO 数据集上达到最先进性能，30-shot 检测 mAP 达 21.66%，优于先前方法。
• 在 VOC Novel Set 1 上，D&R 在 10-shot 检测中达到 66.8% mAP，所有变体中排名第二，显著优于 w/o KD。
• 使用 CLIP(T) 作为教师模型时，在所有 shot 设置下均取得前两名性能，证明了基于文本的知识蒸馏的有效性。
• 该方法对蒸馏损失权重具有鲁棒性，最优性能出现在权重为 5 时，即使在权重 10 时也表现强劲。
• D&R 优于使用 CLIP(I+T) 的变体，表明图像编码器带来的收益远低于其增加的计算成本。
• 消融实验确认 α=4 且 β=0.5 时性能最佳，验证了在干预机制中超参数调优的重要性。