[論文レビュー] Don't forget, there is more than forgetting: new metrics for Continual Learning

Natalia Díaz-Rodríguez, Vincenzo Lomonaco+2 more|arXiv (Cornell University)|Oct 31, 2018

Domain Adaptation and Few-Shot Learning参考文献 11被引用数 74

ひとこと要約

この論文は、正確性の時間推移、後向/前向き転移、記憶、計算を網羅する実装に依存しない継続学習の指標を包括的に提示し、それらを組み合わせてアルゴリズムをランキングするための柔軟な CL_score を提案します。

ABSTRACT

Continual learning consists of algorithms that learn from a stream of data/tasks continuously and adaptively thought time, enabling the incremental development of ever more complex knowledge and skills. The lack of consensus in evaluating continual learning algorithms and the almost exclusive focus on forgetting motivate us to propose a more comprehensive set of implementation independent metrics accounting for several factors we believe have practical implications worth considering in the deployment of real AI systems that learn continually: accuracy or performance over time, backward and forward knowledge transfer, memory overhead as well as computational efficiency. Drawing inspiration from the standard Multi-Attribute Value Theory (MAVT) we further propose to fuse these metrics into a single score for ranking purposes and we evaluate our proposal with five continual learning strategies on the iCIFAR-100 continual learning benchmark.

研究の動機と目的

• 忘却を越えた継続学習(CL)システムのより広い評価を動機づける。
• 時間経過に伴う正確性、転移、記憶、計算を網羅する実装に依存しない指標群を定義する。
• 基準を [0,1] スケールへマッピングする MAVT に着想を得た正規化を使って集約を可能にする。
• ユーザー定義の重みで最終的な CL_score を計算し、CL 戦略をランキングする有用性を評価する。
• iCIFAR-100 ベンチマークで五つの CL 戦略（Naïve、Cumulative、EWC、LwF、SI）を評価し、提案指標を示す。

提案手法

• 各基準を [0,1] スケールに対応づけ、集約を可能にする MAVT に触発した正規化を用いる。
• Accuracy、忘却と remembers を含む BWT、時間を考慮した指標としての FWT を定義する。
• Model Size (MS)、Samples Storage Size (SSS)、Computational Efficiency (CE) を効率指標として導入する。
• 最終的な CL_score を基準の重み付き和として計算し、解釈性のために正規化する。
• 実践的には、複数回の実行での基準スコアの標準偏差に基づく安定性指標（CL_stability）を提供する。
• iCIFAR-100 の評価は、五つの CL 戦略（Naïve、Cumulative、EWC、LwF、SI）を CNN をベースラインとして用い、各戦略の指標を報告する。

実験結果

リサーチクエスチョン

• RQ1 提案された指標は、CL 手法の動的なパフォーマンスを時間とともにどのように捉えるか。
• RQ2 提案全指標を用いた場合、異なる CL 戦略はどのように比較されるか。
• RQ3 CL_score の統合は、正確性、転移、記憶、計算のトレードオフをどのように反映するか。
• RQ4 複数回の実行における指標の変動性（安定性）は異なる戦略間でどう現れるか。

主な発見

戦略	A	REM	BWT +	FWT	MS	SSS	CE	CL_score	CL_stability
Naïve	0.3825	0.6664	0.0000	0.1000	1.0000	1.0000	0.4492	0.5140	0.9986
Cumul.	0.7225	1.0000	0.0673	0.1000	1.0000	0.5500	0.1496	0.5128	0.9979
EWC	0.5940	0.9821	0.0000	0.1000	0.4000	1.0000	0.3495	0.4894	0.9972
LwF	0.5278	0.9667	0.0000	0.1000	1.0000	1.0000	0.4429	0.5768	0.9986
SI	0.5795	0.9620	0.0000	0.1000	0.4000	1.0000	0.3613	0.4861	0.9970

• 包括的な指標セットが提案され、Accuracy、REM（remembering）、BWT＋、FWT、MS、SSS、CE を含む。
• 五つの CL 戦略（Naïve、Cumulative、EWC、LwF、SI）を iCIFAR-100 で評価し、各指標を含む主要表に結果を要約する。
• CL_score は等しい重みまたはユーザー指定の重みで基準を集約して戦略をランク付けする。LwF は複数の指標で良好なパフォーマンスを示すことが多い。
• 正確性/忘却だけでなく他の指標が戦略間の意味ある差を生み出すことを示し、記憶、計算、転移のトレードオフを強調する。
• 複数回の実行における変動性（図1を通じて示される）により、CL 研究には多指標評価が必要であることを強調する。