[論文レビュー] On Class Orderings for Incremental Learning

Marc Masana, Bartłomiej Twardowski+1 more|arXiv (Cornell University)|Jul 4, 2020

Domain Adaptation and Few-Shot Learning参考文献 24被引用数 9

ひとこと要約

本稿では、焼きなまし法を用いて最小・最大の混乱度を持つ順序を生成する、混同行列に基づくクラス順序付け手法を提案する。結果から、クラス順序がモデル性能および手法ランク付けに顕著な影響を及ぼすことが示され、ランダム順序がしばしば標準的分割を上回ることがあり、これは、インクリメンタル学習手法の公平な評価のため、複数の順序で評価を行う必要性を示唆している。

ABSTRACT

The influence of class orderings in the evaluation of incremental learning has received very little attention. In this paper, we investigate the impact of class orderings for incrementally learned classifiers. We propose a method to compute various orderings for a dataset. The orderings are derived by simulated annealing optimization from the confusion matrix and reflect different incremental learning scenarios, including maximally and minimally confusing tasks. We evaluate a wide range of state-of-the-art incremental learning methods on the proposed orderings. Results show that orderings can have a significant impact on performance and the ranking of the methods.

研究の動機と目的

• 既存のベンチマークが固定またはランダムな順序を仮定しているが、その分析が不十分であることを踏まえ、クラス順序がインクリメンタル学習性能に与える影響を調査すること。
• 混同行列解析に基づき、最小から最大の混乱度まで多様なクラス順序を体系的に生成する手法を開発すること。
• これらの順序において、最先端のインクリメンタル学習手法を評価し、そのロバストネスおよび比較の公平性を検証すること。
• ランダム順序や標準的分割（例：iCaRLのシードベース順序）が、信頼できる手法比較に十分であるという仮定を疑問視すること。
• インクリメンタル学習ベンチマークのロバストネスと公平性を確保するため、複数順序評価プロトコルの導入を提唱すること。

提案手法

• 事前に訓練されたモデルの混同行列を基に、焼きなまし法を用いて最適化し、タスク全体の累積的混乱度を最小または最大にするクラス順序を生成する。
• ランダム、iCaRLの固定シード、minConf（最小混乱度）、maxConf（最大混乱度）という4つの異なる順序を、混同行列の値に基づき生成する。
• 混同行列の非対角成分として定義される混乱度を反映するように、クラスを再順序付けすることで、さまざまなインクリメンタル学習シナリオを再現する。
• 局所最適解に陥るのを避けるために、焼きなまし法を用いたコスト関数を累積的混乱度に基づいて定義する。
• ResNet-32を用いてCIFAR-100に適用し、すべての順序で同一の学習設定およびハイパーパrameterを用いて評価する。
• 性能は全タスクにおける平均平均正答率で測定し、安定性を確保するため複数のランダムシードで結果を集約する。

実験結果

リサーチクエスチョン

• RQ1 CIFAR-100におけるインクリメンタル学習手法の性能に、クラス順序の選択がどのように影響を与えるか？
• RQ2 混同行列に基づく順序付けにより、インクリメンタル学習評価におけるタスク難易度の意味のある体系的変動を生成できるか？
• RQ3 最先端のインクリメンタル学習手法は、さまざまなクラス順序に対してどれほどロバストか？また、その相対的ランク付けに影響を与えるか？
• RQ4 一般的に用いられるランダム順序やiCaRL固有のクラス順序は、代表的またはバイアスのかかった性能推定値をもたらすか？
• RQ5 ハードおよびイージーな順序を体系的に生成する手法により、インクリメンタル学習評価のロバストネスが向上できるか？

主な発見

• minConf順序（最小混乱度）は、BiC や IL2M といったエキスナプレートベース手法において、一貫して最も安定的かつ高い性能を示した。
• maxConf順序（最大混乱度）は、特に初期タスクで最も低い性能を示し、最終正答率も顕著に低下させた。これは、困難な評価ベンチマークとしての役割を果たすことを示している。
• エキスナプレート非ベース手法（例：Fine-tuning や LwF）では、ランダム順序がminConfと同等の性能を達成しており、これは強力なベースラインである可能性を示唆している。
• BiC や IL2M では順序間の標準偏差が約2.3と最小であり、より高いロバストネスを示した。一方、LwF では最大で約3.6と最も変動が大きく、順序に敏感であることが示された。
• 手法のランク付けは順序の種類によって変化した。例えば、LUCIR はmaxConfで最良の性能を示したが、BiC はminConfで優れた性能を示した。これは、手法ランク付けが順序に依存することを示している。
• 同一手法の最良順序と最悪順序との間で、性能差が20ポイント以上に達するケースもあり、クラス順序が評価結果に与える影響が極めて顕著であることを強く示している。