[論文レビュー] A Memory Transformer Network for Incremental Learning

Ahmet İşcen, Thomas Bird+3 more|arXiv (Cornell University)|Oct 10, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本論文は、推論時にメモリバンク内のk個の最近傍から特徴を動的に集約する軽量トランスフォーマーを用いて、エキジンプラーに基づくリハーサルを強化する、新たなクラスインクリメンタル学習手法であるメモリトランスフォーマーネットワーク（MTN）を提案する。MTNは、明示的にクエリ-メモリ関係をモデル化することで、画像分類のImageNet-1kおよびGoogle-Landmarks-1kベンチマークで最先端の精度を達成し、メモリ容量が小さい場合でも優れた性能を発揮する。

ABSTRACT

We study class-incremental learning, a training setup in which new classes of data are observed over time for the model to learn from. Despite the straightforward problem formulation, the naive application of classification models to class-incremental learning results in the "catastrophic forgetting" of previously seen classes. One of the most successful existing methods has been the use of a memory of exemplars, which overcomes the issue of catastrophic forgetting by saving a subset of past data into a memory bank and utilizing it to prevent forgetting when training future tasks. In our paper, we propose to enhance the utilization of this memory bank: we not only use it as a source of additional training data like existing works but also integrate it in the prediction process explicitly.Our method, the Memory Transformer Network (MTN), learns how to combine and aggregate the information from the nearest neighbors in the memory with a transformer to make more accurate predictions. We conduct extensive experiments and ablations to evaluate our approach. We show that MTN achieves state-of-the-art performance on the challenging ImageNet-1k and Google-Landmarks-1k incremental learning benchmarks.

研究の動機と目的

• 新しいデータに対して学習を行う際、以前に学習したクラスを忘れてしまうという災難的忘却（catastrophic forgetting）を解消すること。
• 学習時のみにメモリを使用する従来のエキジンプラーに基づくリハーサル手法の限界を克服し、推論時にもメモリを活用すること。
• 訓練段階だけでなく、意思決定段階でも明示的にメモリエキジンプラーを活用することで、予測精度を向上させること。
• 小さなメモリ予算でも高い性能を維持できる、軽量で効率的なアーキテクチャを設計すること。
• トランスフォーマーを用いて局所的な特徴近傍をモデル化することで、インクリメンタル設定においてより頑健で正確な予測が得られることを示すこと。

提案手法

• MTNは、与えられたクエリ画像に対して、メモリバンク内の最も関連性の高いエキジンプラーを特徴空間におけるk近傍探索（kNN）により取得する。
• クエリベクトルとそのk個の最近傍が、軽量トランスフォーマーによって処理され、それらの相互作用をモデル化して、洗練された文脈に適した表現を生成する。
• トランスフォーマーはクエリとその近傍に注目し、特徴を再重み付けして集約することで、予測の信頼性と正確性を向上させる。
• 最終的な予測は、集約された表現に基づき、クエリとそのメモリ近傍の両方に条件付けられた出力分布から行われる。
• この手法は推論時のみに適用され、モデル学習とは直交しており、任意のバックボーンや特徴抽出器と互換性を持つ。
• アーキテクチャは効率的であり、全メモリバンクに注目するのではなく、k個の近傍のみを処理するため、計算コストを回避できる。

実験結果

リサーチクエスチョン

• RQ1 予測プロセスに明示的にメモリエキジンプラーを組み込むことで、クラスインクリメンタル学習における一般化性能の向上と忘却の低減が図れるか？
• RQ2 特徴空間におけるクエリの局所的近傍をトランスフォーマーでモデル化することは、標準的なkNNや分類器ベースの推論と比べてどのように異なるか？
• RQ3 エキジンプラーの効率が極めて重要な小さなメモリ予算下でも、提案手法が性能を維持できるか？
• RQ4 MTNアーキテクチャは、ImageNet-1kやGoogle-Landmarks-1kといった挑戦的なベンチマークで、最先端の手法を上回る性能を発揮できるか？
• RQ5 ハイパーパrameter、特にk（近傍数）とメモリサイズMに対するMTNの感度はどの程度か？

主な発見

• MTNはImageNet-1kベンチマークで最先端の精度を達成し、SS-IL や iCaRL などの先行手法を上回った。
• Google-Landmarks-1kでは、報告済みの最高精度を達成し、細分化されたオープンボリュームのデータセットにおいて優れた一般化性能を示した。
• MTNは非常に小さなメモリサイズに対しても頑健である。M = 10k という極めて小さなメモリサイズでも高い性能を維持するが、ベースライン手法（例：SS-IL）は著しく性能を落とす。
• k ≥ 10 の範囲で安定した性能を示し、効率性と正確性の両面で最適な選択としてk=10が選ばれた。
• 定性的な分析から、MTNは誤分類された近傍を適切に再重み付けし、曖昧な状況下でも正解クラスのエキジンプラーに高い注目を向けることがわかった。
• 中規模のトランスフォーマー（4層、128次元）が、性能と効率の最適なトレードオフを達成しており、より大きなアーキテクチャからは恩恵が得られなかった。