[论文解读] Combinets: Creativity via Recombination of Neural Networks

Matthew Guzdial, Mark Riedl|arXiv (Cornell University)|Feb 10, 2018

Domain Adaptation and Few-Shot Learning参考文献 37被引用 11

一句话总结

本文提出概念扩展（conceptual expansion）方法，通过在不进行反向传播的情况下重新组合现有预训练神经网络模型，构建新型神经网络模型——称为combiNETs和combiGANs。该方法在少样本图像分类与生成任务中优于标准迁移学习，通过利用模型的结构与特征层面组合，即使在极少量训练数据下也展现出更优性能。

ABSTRACT

One of the defining characteristics of human creativity is the ability to make conceptual leaps, creating something surprising from typical knowledge. In comparison, deep neural networks often struggle to handle cases outside of their training data, which is especially problematic for problems with limited training data. Approaches exist to transfer knowledge from problems with sufficient data to those with insufficient data, but they tend to require additional training or a domain-specific method of transfer. We present a new approach, conceptual expansion, that serves as a general representation for reusing existing trained models to derive new models without backpropagation. We evaluate our approach on few-shot variations of two tasks: image classification and image generation, and outperform standard transfer learning approaches.

研究动机与目标

• 为解决深度神经网络中的少样本学习挑战，即当模型面对罕见、新类别或幻想类别的图像时，由于训练数据不足而表现不佳的问题。
• 开发一种通用方法，用于重用现有预训练模型，构建新模型而无需额外训练或领域特定工程。
• 探索是否可将人类概念融合的创造性思维应用于神经网络，通过组合生成新颖且功能有效的模型。
• 评估通过概念扩展进行模型重组相较于标准迁移学习与零样本方法的有效性。

提出的方法

• 提出概念扩展作为灵活的表示方式，用于在不进行反向传播的情况下，将多个预训练神经网络重新组合为新模型。
• 采用基于搜索的方法，依据领域特定启发式与特征兼容性，识别最优的现有模型组合。
• 在深度卷积生成对抗网络（DCGANs）与分类器上，将该方法应用于图像分类与图像生成任务。
• 在combiGANs中，使用基线模型的判别器作为启发式方法，引导生成器合成如狐狸等罕见类别的真实图像。
• 通过真实图像与生成图像类别分布之间的Inception分数与KL散度来评估性能，以衡量图像的物体性与狐狸特征相似度。
• 构建combiGAN变体，分别采用朴素基线或迁移学习的判别器作为启发式方法，从而与标准基线进行对比。

实验结果

研究问题

• RQ1 是否可以不经过微调，将预训练神经网络重新组合为新模型以解决少样本学习问题？
• RQ2 通过模型重组实现的概念扩展是否在少样本图像分类与生成任务中优于标准迁移学习？
• RQ3 与传统微调或迁移学习相比，概念扩展在有限训练数据下的性能表现如何？
• RQ4 模型的结构与特征层面组合是否能带来有意义且可泛化的新型能力？

主要发现

• combiGAN变体（combi+N 与 combi+T）在生成类似狐狸的图像方面，优于朴素基线与迁移学习基线，尤其在小样本训练集下表现更优。
• 在10张训练图像下，迁移学习基线在KL散度指标上略优于combi+N（0.11 vs. 0.13），但combiGAN输出保留了更清晰的面部特征。
• combiGAN生成图像在视觉质量与结构一致性方面更优，避免了迁移学习基线常见的模糊斑块伪影。
• 该方法在低数据场景下表现出强鲁棒性，即使在更少样本下，概念扩展也常优于自身表现。
• 该方法实现了更高的Inception分数，并与真实狐狸图像的类别分布更匹配，表明生成样本的物体性与真实感显著提升。