[論文レビュー] Linear Mode Connectivity in Multitask and Continual Learning

Seyed Iman Mirzadeh, Mehrdad Farajtabar+3 more|arXiv (Cornell University)|Oct 9, 2020

Domain Adaptation and Few-Shot Learning参考文献 68被引用数 13

ひとこと要約

本論文は、深層ニューラルネットワークにおける継続的学習（CL）とマルチタスク学習（MTL）の解の幾何的関係を調査し、同じ初期化のもとでMTL解と逐次的に学習されたCL解が、低損失の経路で線形に接続されていることを発見した。この線形モード接続性により、低損失経路に最適化を制約する、新たなアルゴリズムMC-SGDが提案され、視覚ベンチマークにおいて最先端のCL手法を上回る性能を発揮した。

ABSTRACT

Continual (sequential) training and multitask (simultaneous) training are often attempting to solve the same overall objective: to find a solution that performs well on all considered tasks. The main difference is in the training regimes, where continual learning can only have access to one task at a time, which for neural networks typically leads to catastrophic forgetting. That is, the solution found for a subsequent task does not perform well on the previous ones anymore. However, the relationship between the different minima that the two training regimes arrive at is not well understood. What sets them apart? Is there a local structure that could explain the difference in performance achieved by the two different schemes? Motivated by recent work showing that different minima of the same task are typically connected by very simple curves of low error, we investigate whether multitask and continual solutions are similarly connected. We empirically find that indeed such connectivity can be reliably achieved and, more interestingly, it can be done by a linear path, conditioned on having the same initialization for both. We thoroughly analyze this observation and discuss its significance for the continual learning process. Furthermore, we exploit this finding to propose an effective algorithm that constrains the sequentially learned minima to behave as the multitask solution. We show that our method outperforms several state of the art continual learning algorithms on various vision benchmarks.

研究の動機と目的

• 継続的学習（CL）とマルチタスク学習（MTL）によって得られる解の幾何的関係、特に損失ランドスケープ構造の観点から理解すること。
• CLとMTLの解が低損失経路で接続されているかどうかを調査し、そのような経路の最も単純な形が何かを同定すること。
• ユークリッド距離やCKAのような従来の類似度指標が、CLとMTLの解を比較する際に意味を持つのかどうかを検証すること。
• 線形モード接続性を活用して、災難的忘却を軽減する新たな継続的学習アルゴリズムを開発すること。
• 複数のタスクと多様な視覚ベンチマークにおいて、線形接続性の頑健性を実験的に検証すること。

提案手法

• 著者たちは、MTLとCLの両方が同じ初期重みから出発し、異なる順序で同じタスクを学習するという共通の初期化設定のもとで、CLとMTLの解を比較した。
• 接続性の評価は、MTL解と各CL解の間を線形補間することで行い、経路上の損失を測定して低誤差であるかを確認した。
• MTL解と現在のCL解の間の低損失線形経路に最適化軌道を保持するよう制約を課す、新たなアルゴリズム「モード接続確率的勾配降下法（MC-SGD）」を提案した。
• この手法は、逐次学習中にMTL解とCL解の線形補間経路から逸脱しないように促す損失正則化項を用いた。
• 実験は、回転させたMNIST、分割されたCIFAR-100、および並べ替えられたMNISTを用い、最大50のタスクで実施した。標準ベンチマークを用い、複数のランダムシードを用いた再現性のある実験を実施した。
• MC-SGDの性能は、経験的リプレイ、正則化、蒸留法を含む最先端のCLベースラインと比較した。

実験結果

リサーチクエスチョン

• RQ1 損失ランドスケープにおいて、継続的学習とマルチタスク学習によって得られる解が低損失経路で接続されているか？
• RQ2 そのような経路が存在する場合、それは線形であるか。また、どのような条件下で保証されるか？
• RQ3 CLとMTL解の間の線形モード接続性を活用して、継続的学習の性能を向上させることができるか？
• RQ4 ユークリッド距離やCKAのような従来の指標は、CLとMTL解の関係を正確に反映しているか？
• RQ5 線形接続性は、タスク数の増加や多様なデータセットにおいても頑健か？

主な発見

• 同じ初期化のもとで、MTL解とCL解は20タスク以上を含む状況でも、信頼性高く低損失の線形経路で接続されている。
• 解が異なる初期化で得られる場合には線形接続性は観察されず、共通の初期化の重要性が浮き彫りになった。
• 従来の指標であるℓ₂距離やCKAは、CLとMTL解の真の関係を捉えるのに不適切であり、性能の差を反映していないことが判明した。
• 線形接続性を強制するMC-SGDは、回転させたMNIST、分割されたCIFAR-100、並べ替えられたMNIST（50タスク）において、最先端の性能を達成した。
• 本手法は、すべてのベンチマークおよび複数のランダムシードにおいて、経験的リプレイや正則化に基づくアプローチを含む既存のCLベースラインを一貫して上回った。
• MTL解とCL解の間の線形補間経路は、損失が非増加的であることが確認され、両者の解タイプを接続する低損失多様体の存在が裏付けられた。