[論文レビュー] Continual Learning Using Multi-view Task Conditional Neural Networks

Haoyu Li, Payam Barnaghi+2 more|arXiv (Cornell University)|May 8, 2020

Domain Adaptation and Few-Shot Learning参考文献 44被引用数 4

ひとこと要約

本稿では、タスクの識別子を事前に知らない状態で再発生するタスクを検出し、それに適応する continual learning モデルである Multi-view Task Conditional Neural Networks (Mv-TCNN) を提案する。マルチビューのデータ拡張とタスクの尤度を推定する確率的層を組み合わせることで、MNIST、CIFAR10、CIFAR100、および実世界の時系列医療データセット（TIHM）において、最先端の手法を上回る性能を発揮し、変化し続ける動的な環境でも高い正確性と頑健性を実現した。

ABSTRACT

Conventional deep learning models have limited capacity in learning multiple tasks sequentially. The issue of forgetting the previously learned tasks in continual learning is known as catastrophic forgetting or interference. When the input data or the goal of learning change, a continual model will learn and adapt to the new status. However, the model will not remember or recognise any revisits to the previous states. This causes performance reduction and re-training curves in dealing with periodic or irregularly reoccurring changes in the data or goals. The changes in goals or data are referred to as new tasks in a continual learning model. Most of the continual learning methods have a task-known setup in which the task identities are known in advance to the learning model. We propose Multi-view Task Conditional Neural Networks (Mv-TCNN) that does not require to known the reoccurring tasks in advance. We evaluate our model on standard datasets using MNIST, CIFAR10, CIFAR100, and also a real-world dataset that we have collected in a remote healthcare monitoring study (i.e. TIHM dataset). The proposed model outperforms the state-of-the-art solutions in continual learning and adapting to new tasks that are not defined in advance.

研究の動機と目的

• 新しいタスクにさらされた際に、以前に学習したタスクを忘れてしまう catastrophic forgetting を緩和すること。
• タスクの識別子を事前に知る必要があるという従来の継続的学習手法の制限（タスク既知設定）を克服すること。
• リモート医療モニタリングのような動的な環境で、再発生するタスクを検出し、学習できるスケーラブルで適応可能なモデルを開発すること。
• 推論時にタスクラベルなしで自動的にタスクを識別し、専門家を選択可能とすることで、実世界の応用における柔軟性を高めること。
• 画像および数値的時系列データ、特に不均衡で非 i.i.d. なデータ分布に対しても性能を向上させること。

提案手法

• 異なる学習タスクに対応する複数のタスク固有のエキスパートを備えた Multi-view Task Conditional Neural Network (Mv-TCNN) アーキテクチャを導入する。
• 入力データの多様で文脈的に関連するビューを生成するためにマルチビューのデータ拡張を適用し、特徴の頑健性と一般化性能を向上させる。
• 各タスク固有のエキスパートに与えられた入力が属するタスクの尤度を推定する確率的層を統合し、動的なエキスパート選択を可能にする。
• タスク尤度スコアを用いて、与えられた入力に対してどのエキスパートをアクティブにするかを決定し、明示的なタスクラベルなしでタスク識別子を推論可能にする。
• 交差エントロピー損失とタスク尤度推定を組み合わせて、エンドツーエンドでモデルを学習し、正確性と安定性のバランスを取る。
• 線形パス解析と損失関数の表面可視化を用いて、逐次的なタスク学習において catastrophic forgetting が著しく減少することを示す。

実験結果

リサーチクエスチョン

• RQ1 タスクの識別子を事前に知らない状態で、継続的学習モデルが再発生するタスクを検出し、それに適応できるか。
• RQ2 マルチビューのデータ拡張は、継続的学習におけるタスク固有のエキスパートの頑健性と一般化性能をどのように向上させるか。
• RQ3 タスク尤度推定のための確率的層は、タスク識別性能の向上と catastrophic forgetting の低減にどの程度寄与するか。
• RQ4 Mv-TCNN は画像および時系列データセットにおいて、最先端の継続的学習手法と比較してどの程度の性能を発揮するか。
• RQ5 Mv-TCNN は、リモート医療モニタリングのような実世界の応用で一般的な不均衡で非定常なデータ分布を効果的に処理できるか。

主な発見

• Mv-TCNN は MNIST、CIFAR10、CIFAR100、および実世界の TIHM 時系列データセットにおいて、最先端の継続的学習手法を上回り、優れた正確性と安定性を示した。
• ベースラインモデルと比較して、Mv-TCNN は著しく優れたタスク尤度推定性能を発揮し、確率的層においてタスク内サンプルとタスク外サンプルが明確に分離された。
• アブレーションスタディの結果、マルチビュー拡張と確率的層の両方が、正確なタスク識別子推論に不可欠であることが確認され、Mv-TCNN はタスク外サンプルの平均尤度において最小の標準偏差と最も正確な推定値を示した。
• 学習したタスク数が増えるにつれて、正しいエキスパートの選択率が上昇し、タスク複雑度の増加に対してもスケーラビリティと信頼性の高い推論が可能であることが示された。
• マルチビュー拡張に適さないデータに対しても、事前に学習したパラメータを活用することで、Mv-TCNN は高い性能を維持し、実世界の展開における頑健性を示した。
• モデルはデータ分布の変化を効果的に検出し、リモート医療モニタリングにおける周期的・不規則的な再発生タスクに適応でき、再トレーニングや複数モデルのメンテナンスの必要性を低減した。