[论文解读] Dynamic-Net: Tuning the Objective Without Re-training.

Alon Shoshan, Roey Mechrez+1 more|arXiv (Cornell University)|Nov 21, 2018

Generative Adversarial Networks and Image Synthesis参考文献 22被引用 2

一句话总结

本文提出 Dynamic-Net，一种可在推理阶段通过可学习标量权重动态组合两种损失函数，从而实现实时、训练后修改卷积神经网络（CNN）目标的方法。无需微调或重新训练，该方法使用户能够实时交互式调整网络行为，提升模型适应性，同时保持模型性能。

ABSTRACT

One of the key ingredients for successful optimization of modern CNNs is identifying a suitable objective. To date, the objective is fixed a-priori at training time, and any variation to it requires re-training a new network. In this paper we present a first attempt at alleviating the need for re-training. Rather than fixing the network at training time, we train a that can be modified at inference time. Our approach considers an as the space of all linear combinations of two objectives, and the Dynamic-Net is emulating the traversing of this objective-space at test-time, without any further training. We show that this upgrades pre-trained networks by providing an out-of-learning extension, while maintaining the performance quality. The solution we propose is fast and allows a user to interactively modify the network, in real-time, in order to obtain the result he/she desires. We show the benefits of such an approach via several different applications.

研究动机与目标

• 为解决预训练 CNN 中目标固定的局限性，该局限性导致任何目标变更均需重新训练。
• 在训练后实现网络行为的运行时自适应，无需重新训练或微调。
• 通过修改优化目标，使用户能够在推理阶段对模型行为进行交互式控制。
• 在扩展预训练模型功能的同时，保持高性能表现。

提出的方法

• 该方法将目标空间表述为两种预定义损失函数的所有线性组合的集合。
• 在推理阶段引入一个轻量级、可学习的标量参数，以动态加权两个目标。
• 网络仅需一次固定目标训练，但在推理阶段，通过调整标量权重来探索目标空间中的不同点。
• 动态加权机制允许实时调整网络行为，无需额外训练或模型重新初始化。
• 该方法应用于预训练网络，使用户可根据偏好实时调整模型输出。
• 该方法计算效率高，完全在推理阶段运行，不影响推理速度。

实验结果

研究问题

• RQ1 预训练的 CNN 是否可在推理阶段无需重新训练而动态重构，以优化不同目标？
• RQ2 动态目标加权在提升模型适应性以满足多样化推理需求方面效果如何？
• RQ3 在训练后修改目标时，该方法是否会导致模型性能下降或保持不变？
• RQ4 用户是否能够实时交互式调整网络行为以获得期望输出？

主要发现

• Dynamic-Net 通过在推理阶段修改目标，实现了对预训练 CNN 的实时、交互式调优，且无需重新训练。
• 该方法在各种目标组合下均保持了原始预训练模型的性能质量。
• 该方法为现有模型提供了一种实用的开箱即用功能扩展，显著增强了其对用户定义目标的适应能力。
• 动态目标调整计算高效，可实时运行，适用于交互式应用场景。