[论文解读] Cross-Domain Few-Shot Learning by Representation Fusion

Thomas Adler, J. Brandstetter+6 more|arXiv (Cornell University)|Oct 13, 2020

Domain Adaptation and Few-Shot Learning参考文献 94被引用 23

一句话总结

本文提出 CHEF，一种跨域少样本学习方法，通过集成赫布学习器融合深度神经网络中多个抽象层级的表征。通过在不通过主干网络反向传播的情况下利用低层和高层特征，CHEF 在存在显著领域差异的基准测试中实现了最先进性能，并在真实世界药物发现毒性预测任务中显著优于传统方法。

ABSTRACT

In order to quickly adapt to new data, few-shot learning aims at learning from few examples, often by using already acquired knowledge. The new data often differs from the previously seen data due to a domain shift, that is, a change of the input-target distribution. While several methods perform well on small domain shifts like new target classes with similar inputs, larger domain shifts are still challenging. Large domain shifts may result in high-level concepts that are not shared between the original and the new domain, whereas low-level concepts like edges in images might still be shared and useful. For cross-domain few-shot learning, we suggest representation fusion to unify different abstraction levels of a deep neural network into one representation. We propose Cross-domain Hebbian Ensemble Few-shot learning (CHEF), which achieves representation fusion by an ensemble of Hebbian learners acting on different layers of a deep neural network. Ablation studies show that representation fusion is a decisive factor to boost cross-domain few-shot learning. On the few-shot datasets miniImagenet and tieredImagenet with small domain shifts, CHEF is competitive with state-of-the-art methods. On cross-domain few-shot benchmark challenges with larger domain shifts, CHEF establishes novel state-of-the-art results in all categories. We further apply CHEF on a real-world cross-domain application in drug discovery. We consider a domain shift from bioactive molecules to environmental chemicals and drugs with twelve associated toxicity prediction tasks. On these tasks, that are highly relevant for computational drug discovery, CHEF significantly outperforms all its competitors. Github: https://github.com/ml-jku/chef

研究动机与目标

• 为解决少样本学习中存在显著领域差异的问题，即源域和目标域的高层概念不同，但低层特征（如边缘、纹理）仍具共享性。
• 开发一种方法，有效利用预训练模型，且无需访问原始训练数据，尤其适用于数据隐私或知识产权受限的场景。
• 将深度神经网络中的多层级抽象统一为单一、鲁棒的表征，以提升跨领域少样本泛化能力。
• 在真实世界应用中证明表征融合的有效性，特别是在标注数据有限的计算药物发现领域。

提出的方法

• CHEF 采用在预训练深度神经网络不同层上训练的赫布学习器集成，以提取并融合跨抽象层级的表征。
• 表征融合将来自多个层（尤其是瓶颈层）的特征整合为统一表征，同时捕捉低层和高层语义。
• 赫布学习器以快速、自适应的方式训练，无需对主干网络进行反向传播，从而实现对新领域的高效适应。
• 该方法应用于标准少样本基准（mini-ImageNet、tiered-ImageNet）以及真实世界的跨域任务，如药物发现中的毒性预测。
• 对于分子数据，基于 ChEMBL20 上预训练的全连接网络，通过在 Tox21 数据上进行表征融合进行微调，输入特征为 ECFP6 指纹。
• 通过 12 个毒性预测任务的 ROC-AUC 进行性能评估，采用 100 次随机训练/测试划分以确保结果稳健。

实验结果

研究问题

• RQ1 在存在显著领域差异的情况下，跨多个抽象层级的表征融合是否能提升少样本泛化能力？
• RQ2 在不微调主干网络的前提下，对网络不同层使用赫布学习器是否能实现有效的跨域适应？
• RQ3 在领域差异严重程度逐渐增加的基准测试中，CHEF 相较于最先进方法表现如何？
• RQ4 CHEF 是否能在真实世界、高影响力的应用中泛化，如在标注数据有限的药物发现毒性预测中？

主要发现

• CHEF 在所有类别中均取得跨域少样本学习基准的新最先进结果，尤其在大领域差异下表现卓越。
• 在 Tox21 数据挑战中，CHEF 在 12 个毒性预测任务上的平均 ROC-AUC 达到 0.76 ± 0.02，显著优于 SVM（0.66 ± 0.03）和随机森林（0.64 ± 0.03），配对 Wilcoxon 检验的 p 值小于 10^-17。
• 消融研究证实，表征融合是性能提升的关键因素，尤其在高层概念不共享的领域差异场景中。
• 尽管 ChEMBL20 与 Tox21 数据集之间存在显著的输入和标签分布差异（分子结构的 Jaccard 指数为 0.01），CHEF 仍成功适应真实世界药物发现任务。
• 该方法无需对主干网络进行反向传播，实现了快速、高效的适应，同时保持高性能。