[論文レビュー] Active Long Term Memory Networks

Tommaso Furlanello, Jiaping Zhao+3 more|arXiv (Cornell University)|Jun 7, 2016

Advanced Graph Neural Networks参考文献 41被引用数 26

ひとこと要約

本論文では、知識蒸留とリプレイ機構を組み合わせることで、継続的マルチタスク学習における深刻な忘却を軽減する深層学習フレームワーク、アクティブ長期記憶ネットワーク（A-LTM）を提案する。安定した蒸留バックボーンネットワークと柔軟なヘッドネットワークを活用することで、A-LTMは以前に学習した視点認識タスク（iLab-20Mで84%）の高い精度を維持しながら、ImageNetの複雑で大規模なドメインに適応し、リプレイありで90%の視点認識精度、リプレイなしで57%を達成した。これは外部教師なしの強力な生涯学習を示している。

ABSTRACT

Continual Learning in artificial neural networks suffers from interference and forgetting when different tasks are learned sequentially. This paper introduces the Active Long Term Memory Networks (A-LTM), a model of sequential multi-task deep learning that is able to maintain previously learned association between sensory input and behavioral output while acquiring knew knowledge. A-LTM exploits the non-convex nature of deep neural networks and actively maintains knowledge of previously learned, inactive tasks using a distillation loss. Distortions of the learned input-output map are penalized but hidden layers are free to transverse towards new local optima that are more favorable for the multi-task objective. We re-frame the McClelland's seminal Hippocampal theory with respect to Catastrophic Inference (CI) behavior exhibited by modern deep architectures trained with back-propagation and inhomogeneous sampling of latent factors across epochs. We present empirical results of non-trivial CI during continual learning in Deep Linear Networks trained on the same task, in Convolutional Neural Networks when the task shifts from predicting semantic to graphical factors and during domain adaptation from simple to complex environments. We present results of the A-LTM model's ability to maintain viewpoint recognition learned in the highly controlled iLab-20M dataset with 10 object categories and 88 camera viewpoints, while adapting to the unstructured domain of Imagenet with 1,000 object categories.

研究の動機と目的

• 新しいタスクが以前に学習した知識を破壊する継続的ディープラーニングにおける深刻な干渉を解消すること。
• 元のデータに継続的アクセスできない状況下でも、過去のタスクの長期記憶を維持できる生涯学習フレームワークを開発すること。
• データ分布のシフトと非定常環境がディープネットワークにおける深刻な忘却を引き起こす要因であることを解明すること。
• 知識蒸留と入力リプレイを組み合わせることで、統計的に著しく異なるドメイン間で学習の安定性を高められるかどうかを検証すること。
• 高い構造性と制御性を持つタスク（視点認識）の性能維持と、大規模で非構造的なドメイン（ImageNet）への適応能力を実証的に検証すること。

提案手法

• A-LTMは、過去のタスクで訓練された安定的で蒸留されたバックボーンネットワーク（N）を用い、新しい柔軟なヘッドネットワーク（H）における知識蒸留のための指導を提供する。
• モデルは、安定ネットワークの入力-出力マップの歪みをペナルティ化することで、知識蒸留を実行し、古いタスクの性能を維持する。
• 非定常な入力分布を示すドメインシフトに対しては、リプレイ機構を導入——過去の入力を保存するか、安定ネットワークによってそれらを生成することで、分布シフトのバランスを回復する。
• 柔軟なヘッドネットワーク（H）は、安定ネットワーク（N）から初期化され、新しいデータで微調整される。これにより、蒸留による古い知識の保持と、新しいデータへの適応が可能になる。
• ベースラインとしてマルチタスク学習設定を用い、A-LTMは旧データの共同監視を必要とせずにマルチタスク学習をエミュレートする。
• 本フレームワークは、iLab-20M（10カテゴリ、88視点）からImageNet（1,000カテゴリ、100万画像）への継続的適応をテストし、新しいタスクの精度と元のタスクの記憶能力の両方を測定する。

実験結果

リサーチクエスチョン

• RQ1 制御的で低次元のドメイン（iLab-20M）から大規模で高次元のドメイン（ImageNet）に移行する際、知識蒸留のみで深刻な忘却を防げるか？
• RQ2 ドメイン間で顕著なデータ分布のシフトが生じる状況下で、リプレイが欠如していると記憶保持にどのような影響を与えるか？
• RQ3 元のラベルにアクセスできない状況下でも、安定的で蒸留されたネットワークが、継続的学習のための仮ラベル源として十分に機能するか？
• RQ4 新しいドメインの入力分布が元のドメインと著しく異なる場合、A-LTMの性能は著しく低下するか？
• RQ5 A-LTMは、両データセットの共同学習を必要とせずに、マルチタスク学習と同等の性能を達成できるか？

主な発見

• リプレイを用いたA-LTMは、ImageNetへの適応後も、iLab-20Mの元の視点認識タスクで90%の精度を達成した。これはリプレイなしバージョン（57%）を著しく上回る。
• リプレイなしのA-LTMは、視点タスクの性能が当初の84%から57%に著しく低下した。これは、リプレイなしでは分布シフトが記憶保持に深刻な影響を及ぼすことを示している。
• iLab-20Mのマルチタスクネットワークから初期化した場合、視点タスクで84%の精度を維持した。これは事前学習重みの継続的学習における利点を示している。
• リプレイなしのA-LTMは、ImageNetでトップ-1精度がわずか40%にとどまり、蒸留のみでは高シフトドメインにおける適応に不十分であることが示された。
• A-LTMフレームワークは、元のラベルにアクセスできない状況下でも、ImageNetで41%の精度を達成し、マルチタスク学習の性能を効果的にエミュレートした。同時に、元のタスクの長期記憶を保持した。
• 実験的結果から、データ分布が非定常的でサンプリングが不均一な環境では、特に高次元で複雑な環境下で深刻な干渉が生じることが確認された。