[论文解读] Continual Learning Using Multi-view Task Conditional Neural Networks

Haoyu Li, Payam Barnaghi+2 more|arXiv (Cornell University)|May 8, 2020

Domain Adaptation and Few-Shot Learning参考文献 44被引用 4

一句话总结

本文提出多视角任务条件神经网络（Mv-TCNN），一种持续学习模型，可在不预先知晓任务身份的情况下检测并适应重复出现的任务。通过结合多视角数据增强与概率层以估计任务可能性，Mv-TCNN 在 MNIST、CIFAR10、CIFAR100 及一个真实世界的时间序列医疗数据集（TIHM）上优于最先进方法，展现出在动态、变化环境中的更高准确率与鲁棒性。

ABSTRACT

Conventional deep learning models have limited capacity in learning multiple tasks sequentially. The issue of forgetting the previously learned tasks in continual learning is known as catastrophic forgetting or interference. When the input data or the goal of learning change, a continual model will learn and adapt to the new status. However, the model will not remember or recognise any revisits to the previous states. This causes performance reduction and re-training curves in dealing with periodic or irregularly reoccurring changes in the data or goals. The changes in goals or data are referred to as new tasks in a continual learning model. Most of the continual learning methods have a task-known setup in which the task identities are known in advance to the learning model. We propose Multi-view Task Conditional Neural Networks (Mv-TCNN) that does not require to known the reoccurring tasks in advance. We evaluate our model on standard datasets using MNIST, CIFAR10, CIFAR100, and also a real-world dataset that we have collected in a remote healthcare monitoring study (i.e. TIHM dataset). The proposed model outperforms the state-of-the-art solutions in continual learning and adapting to new tasks that are not defined in advance.

研究动机与目标

• 解决持续学习中模型在接触新任务时遗忘先前学习任务的灾难性遗忘问题。
• 克服现有持续学习方法依赖任务身份先验知识（即任务已知设置）的局限性。
• 开发一种可扩展、自适应的模型，能够在如远程医疗监测等动态环境中检测并学习重复出现的任务。
• 实现在推理过程中无需任务标签的自动任务识别与专家选择，提升真实应用场景中的适应能力。
• 提升在图像与数值型时间序列数据（包括不平衡与非独立同分布数据分布）上的性能。

提出的方法

• 提出一种多视角任务条件神经网络（Mv-TCNN）架构，为不同学习任务配备多个特定任务的专家。
• 应用多视角数据增强，生成输入数据的多样化、上下文相关的视图，提升特征鲁棒性与泛化能力。
• 引入一个概率层，用于估计给定输入属于每个特定任务专家的可能性，实现动态专家选择。
• 利用任务可能性得分确定针对特定输入应激活的专家，使模型能够在无显式任务标签的情况下推断任务身份。
• 采用交叉熵损失与任务可能性估计相结合的方式端到端训练模型，以平衡准确率与稳定性。
• 利用线性路径分析与损失曲面可视化，证明在顺序任务学习过程中灾难性遗忘程度降低。

实验结果

研究问题

• RQ1 持续学习模型是否能在不预先知晓任务身份的情况下检测并适应重复出现的任务？
• RQ2 多视角数据增强在多大程度上提升了特定任务专家在持续学习中的鲁棒性与泛化能力？
• RQ3 用于任务可能性估计的概率层在多大程度上提升了任务识别能力并减少了灾难性遗忘？
• RQ4 Mv-TCNN 在图像与时间序列数据集上相较于最先进持续学习方法表现如何？
• RQ5 Mv-TCNN 是否能有效处理远程医疗监测等真实应用场景中常见的不平衡与非平稳数据分布？

主要发现

• Mv-TCNN 在 MNIST、CIFAR10、CIFAR100 及真实世界 TIHM 时间序列数据集上的表现优于最先进持续学习方法，展现出更高的准确率与稳定性。
• 与基线模型相比，该模型在任务可能性估计方面表现显著更优，任务内样本在概率层中与任务外样本清晰可分。
• 消融实验确认，多视角增强与概率层对准确的任务身份推断均至关重要，Mv-TCNN 在任务外样本上的平均任务可能性估计标准差最低，且均值最准确。
• 随着学习任务数量的增加，正确专家的选择率持续上升，表明模型具备良好的可扩展性与在任务复杂度提升时的可靠推理能力。
• Mv-TCNN 通过利用先前学习的参数，在无法进行多视角增强的数据上仍保持高性能，展现出在真实世界部署中的鲁棒性。
• 该模型能有效检测数据分布的变化，并适应远程医疗监测中周期性或非周期性重复出现的任务，降低对重新训练或维护多个模型的需求。