[论文解读] Unsupervised Transfer Learning for Spatiotemporal Predictive Networks

Zhiyu Yao, Yunbo Wang+2 more|arXiv (Cornell University)|Sep 24, 2020

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

本文提出了一种名为可迁移记忆（Transferable Memory）的可微分框架，实现了从多个预训练时空RNN模型到目标预测网络的无监督迁移学习。通过一种新型的可迁移记忆单元（TMU），自适应地蒸馏来自多种源模型隐藏状态的知识，该方法在三个基准测试上显著提升了预测性能——即使源数据在内容上无关紧要——优于微调方法，并在无需标签的情况下实现了有效的知识迁移。

ABSTRACT

This paper explores a new research problem of unsupervised transfer learning across multiple spatiotemporal prediction tasks. Unlike most existing transfer learning methods that focus on fixing the discrepancy between supervised tasks, we study how to transfer knowledge from a zoo of unsupervisedly learned models towards another predictive network. Our motivation is that models from different sources are expected to understand the complex spatiotemporal dynamics from different perspectives, thereby effectively supplementing the new task, even if the task has sufficient training samples. Technically, we propose a differentiable framework named transferable memory. It adaptively distills knowledge from a bank of memory states of multiple pretrained RNNs, and applies it to the target network via a novel recurrent structure called the Transferable Memory Unit (TMU). Compared with finetuning, our approach yields significant improvements on three benchmarks for spatiotemporal prediction, and benefits the target task even from less relevant pretext ones.

研究动机与目标

• 解决从多个无监督、预训练的时空模型向新预测任务迁移知识的挑战，且无需标注数据。
• 克服时空预测中源任务与目标任务之间的领域偏移和分布差异。
• 开发一种可微分机制，动态选择并整合来自多样化源模型的可迁移表征。
• 验证当源数据在内容上相关性较低但时间动态相似时，知识迁移的有效性。
• 提供一种可扩展、与架构无关的解决方案，适用于多种基于RNN的时空模型。

提出的方法

• 提出一种名为可迁移记忆的可微分框架，对来自预训练RNN集合的隐藏状态执行无监督知识蒸馏。
• 引入一种新型循环结构——可迁移记忆单元（TMU），通过可学习门控机制整合蒸馏后的表征。
• 使用自适应注意力门控，动态控制每个源模型的蒸馏隐藏状态对目标网络的影响。
• 采用无监督预测学习作为掩码任务，训练源模型从历史序列预测未来帧。
• 将该框架应用于多种RNN架构，包括ConvLSTM、PredRNN、MIM和SAVP，证明其广泛的兼容性。
• 通过来自源模型的蒸馏知识端到端训练目标网络，避免了微调或标注数据的需求。

实验结果

研究问题

• RQ1 能否在无需标注数据的情况下，从多个无监督、预训练的时空模型中有效迁移知识到新的预测任务？
• RQ2 框架如何自适应地选择并整合来自多样化源模型、相关性各异的可迁移表征？
• RQ3 当源域内容相关性较低时（如合成移动数字），其迁移是否仍能提升真实世界时空预测任务的性能？
• RQ4 当目标任务拥有充足标注数据时，该方法是否仍能超越标准微调方法？
• RQ5 该框架如何处理源数据与目标数据之间的领域偏移和分布差异？

主要发现

• 可迁移记忆框架在三个基准测试中均取得显著性能提升：合成飞行数字、人体动作预测（KTH）和降水临近预报（北京雷达）。
• 在KTH数据集上，从2位移动MNIST源模型迁移的知识使SSIM从0.771（从零开始训练）提升至0.808，证明了即使源数据相关性较低，仍具备强大可迁移性。
• 同时使用KTH和移动MNIST作为源模型，在北京雷达数据上达到CSI为0.382，优于基线（0.348），尽管源数据在视觉上完全无关。
• TMU动态为更相关的源域（如广州雷达数据）分配更高的注意力权重，证实了对源贡献的自适应门控控制。
• 即使目标任务拥有丰富训练数据，该方法仍优于标准微调，表明蒸馏知识可补充领域特定学习。
• 该框架在多种RNN架构（包括ConvLSTM、PredRNN、MIM和SAVP）上均保持有效性，证实了其泛化能力。