[论文解读] IDEAL: Query-Efficient Data-Free Learning from Black-box Models

Jie Zhang, Chen Chen+1 more|arXiv (Cornell University)|May 23, 2022

Machine Learning and Data Classification被引用 5

一句话总结

该论文提出IDEAL，一种查询效率高、无需数据的知识蒸馏方法，仅使用黑箱教师模型的硬标签输出来训练学生模型。通过将数据生成与模型蒸馏解耦，并且每个样本仅查询教师模型一次，IDEAL在相比先前方法减少50倍查询成本的同时达到最先进性能，在仅使用2%查询预算的情况下，CIFAR-10上准确率提升5.83%。

ABSTRACT

Knowledge Distillation (KD) is a typical method for training a lightweight student model with the help of a well-trained teacher model. However, most KD methods require access to either the teacher's training data or model parameters, which is unrealistic. To tackle this problem, recent works study KD under data-free and black-box settings. Nevertheless, these works require a large number of queries to the teacher model, which incurs significant monetary and computational costs. To address these problems, we propose a novel method called \emph{query-effIcient Data-free lEarning from blAck-box modeLs} (IDEAL), which aims to query-efficiently learn from black-box model APIs to train a good student without any real data. In detail, IDEAL trains the student model in two stages: data generation and model distillation. Note that IDEAL does not require any query in the data generation stage and queries the teacher only once for each sample in the distillation stage. Extensive experiments on various real-world datasets show the effectiveness of the proposed IDEAL. For instance, IDEAL can improve the performance of the best baseline method DFME by 5.83% on CIFAR10 dataset with only 0.02x the query budget of DFME.

研究动机与目标

• 解决在现实约束下训练高性能学生模型的挑战：无法访问教师数据，无法访问模型参数，仅能获取硬标签输出，且查询预算有限。
• 减少对黑箱教师模型的查询次数，这在商业API等现实应用中成本高昂。
• 开发一种无需数据的知识蒸馏框架，即使与教师模型交互极少，也能保持高性能。
• 实现在数据和模型访问受限的边缘设备场景中，轻量化学生模型的实际部署。

提出的方法

• IDEAL以两阶段训练学生模型：数据生成与模型蒸馏，数据生成阶段无需任何查询。
• 在蒸馏阶段，每个合成样本仅向教师模型查询一次，极大降低查询成本。
• 通过结合信息损失和交叉熵损失训练生成网络，无需从教师模型获取梯度估计。
• 在每个训练周期开始时重新初始化生成器，避免依赖前一周期的生成器状态，从而实现稳定高效的训练。
• 学生模型同时使用合成数据和教师模型的硬标签预测结果进行知识蒸馏。
• 在数据生成阶段采用双损失目标：$L_{infor}$ 用于特征多样性，$L_{ce}$ 用于类别判别力，确保生成高质量的合成样本。

实验结果

研究问题

• RQ1 当仅能获取黑箱教师模型的硬标签输出且查询次数严重受限时，学生模型能否在知识蒸馏中实现高性能？
• RQ2 是否可能在不访问教师模型参数或训练数据的情况下，生成高质量的合成数据用于知识蒸馏？
• RQ3 如何设计训练流程以最小化与教师模型的交互次数，同时保持模型性能？
• RQ4 在无数据、黑箱、硬标签设置下，有效数据生成与蒸馏的关键组件是什么？

主要发现

• IDEAL在CIFAR-10数据集上将最佳基线方法（DFME）的性能提升5.83%，同时仅使用2%的查询预算。
• 在20万次查询预算下，IDEAL在CIFAR-10上达到63.77%的top-1准确率，优于DFME和ZSDB3，即使后者被允许使用1000万次查询。
• 可视化结果表明，IDEAL生成的合成数据更具多样性且语义更合理，而DFME和ZSDB3生成的样本质量较低或高度相似。
• 消融实验表明，信息损失（$L_{infor}$）和交叉熵损失（$L_{ce}$）均对性能至关重要，移除任一损失均导致性能显著下降。
• 生成器重新初始化策略至关重要，若移除该策略，CIFAR-10上的准确率将下降10.9%，表明其在稳定训练中的关键作用。
• 在数据生成阶段，$E_{τ}$ 值需保持平衡，过小或过大均会导致性能下降。