[論文レビュー] BiRT: Bio-inspired Replay in Vision Transformers for Continual Learning

Kishaan Jeeveswaran, Prashant Bhat+2 more|arXiv (Cornell University)|May 8, 2023

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

BiRTは、表現再習得中に制御されたノイズ注入を用いる、ビジョントランスフォーマー向けの生物的インスピレーションを受けて開発された継続的学習手法である。作業モデルとその指数移動平均（EMA）による意味的記憶との間で予測の一貫性を強制することにより、CIFAR-100、ImageNet-100、TinyImageNetベンチマークにおいて、生画像再習得やヴァニラ表現再習得と比較して、より優れた正確性、ノイズ耐性、記憶効率を達成する。

ABSTRACT

The ability of deep neural networks to continually learn and adapt to a sequence of tasks has remained challenging due to catastrophic forgetting of previously learned tasks. Humans, on the other hand, have a remarkable ability to acquire, assimilate, and transfer knowledge across tasks throughout their lifetime without catastrophic forgetting. The versatility of the brain can be attributed to the rehearsal of abstract experiences through a complementary learning system. However, representation rehearsal in vision transformers lacks diversity, resulting in overfitting and consequently, performance drops significantly compared to raw image rehearsal. Therefore, we propose BiRT, a novel representation rehearsal-based continual learning approach using vision transformers. Specifically, we introduce constructive noises at various stages of the vision transformer and enforce consistency in predictions with respect to an exponential moving average of the working model. Our method provides consistent performance gain over raw image and vanilla representation rehearsal on several challenging CL benchmarks, while being memory efficient and robust to natural and adversarial corruptions.

研究の動機と目的

• 長期間にわたるAIにおける主要な課題である、ビジョントランスフォーマー向け継続的学習における崩壊的忘却の問題を解決すること。
• 記憶効率の低さやプライバシー懸念といった、生画像再習得の限界を克服すること。
• 生物学的インスピレーションを受けてノイズ機構を導入することで、表現再習得の一般化性能を向上させること。
• 脳の二重記憶システムを模倣した、記憶効率が高く、頑健な継続的学習フレームワークを構築すること。
• 自然および敵対的ノイズに対して強く、安定した性能を維持しながら、タスクの連続的処理において高い前向き転送性能を達成すること。

提案手法

• BiRTは、作業モデルと、その重みの指数移動平均（EMA）によって形成される意味的記憶からなる二重記憶システムを採用する。
• 混合表現、ノイズを含むアテンションマップ、ノイズを含む意味的記憶出力、ノイズを含むターゲットの複数段階にわたり、建設的ノイズを注入する。
• 一貫性正則化により、ノイズ摂動下でも作業モデルの予測が意味的記憶の予測と一致するように制御する。
• バッファに過去のタスクからの高レベル表現を保存することで、生画像の保存なしに効率的な再習得を可能にする。
• ノイズの種類は、生物学的試行錯誤のばらつきを模倣するように設計されており、再習得における一般化性能を向上させ、過学習を軽減する。
• 自己注意メカニズムを活用したエンドツーエンドのアプローチにより、ビジョントランスフォーマーで強力な特徴学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 表現再習得における制御されたノイズ注入が、ビジョントランスフォーマー向け継続的学習における一般化性能の向上と過学習の軽減に寄与するか？
• RQ2 EMAに基づく意味的記憶を有する生物学的インスピレーションを受けて開発された二重記憶システムが、安定性の向上と崩壊的忘却の軽減に寄与するか？
• RQ3 生画像再習得およびヴァニラ表現再習得と比較して、BiRTは正確性、耐性、記憶効率の観点でどのように異なるか？
• RQ4 ノイズ注入は、継続的学習における自然および敵対的ノイズに対する耐性をどの程度向上させるか？
• RQ5 提案手法は、タスクの連続的処理において、顕著な画像領域のアテンションマップを保持できるか、すなわち忘却が軽減されているか？

主な発見

• BiRTは、CIFAR-100、ImageNet-100、TinyImageNetベンチマークにおいて、生画像再習得およびヴァニラ表現再習得と比較して一貫した性能向上を達成する。
• バッファサイズ500のCIFAR-100において、BiRTは全指標でDyToxを上回るトップ1正確度を示し、優れた安定性と柔軟性を示す。
• BiRTは自然および敵対的ノイズに対して強く、多様な攻撃強度下でも高い性能を維持する。
• アテンションマップの分析から、BiRTは最初のタスクにおける顕著領域の注目度をDyToxよりもよく保持しており、忘却が軽減されていることが確認された。
• 生画像ではなく高レベル表現のみを保存するため、記憶効率が高く、プライバシー懸念も生じない。
• 実験的結果から、BiRTはハイパーパrameterに対してあまり敏感ではなく、頑健性と実用的導入可能性を示している。