[論文レビュー] Self-Supervised Learning Aided Class-Incremental Lifelong Learning

Song Zhang, Gehui Shen+2 more|arXiv (Cornell University)|Jun 10, 2020

Domain Adaptation and Few-Shot Learning参考文献 50被引用数 8

ひとこと要約

本論文は、クラス増分型生涯学習における重要なが無視されがちな問題である先行情報損失（PIL）を特定する。PILとは、過去のタスクデータが欠落しているため、統合分類に有用な特徴を保持できなくなる現象である。本研究では、回転予測などの自己教師型学習（SSL）を用いたプロキシタスクを統合することで、欠落した特徴を回復させ、SOTAのOWMを大幅に上回る性能を達成する。特にタスク数が増加するにつれてその効果が顕著になる。

ABSTRACT

Lifelong or continual learning remains to be a challenge for artificial neural network, as it is required to be both stable for preservation of old knowledge and plastic for acquisition of new knowledge. It is common to see previous experience get overwritten, which leads to the well-known issue of catastrophic forgetting, especially in the scenario of class-incremental learning (Class-IL). Recently, many lifelong learning methods have been proposed to avoid catastrophic forgetting. However, models which learn without replay of the input data, would encounter another problem which has been ignored, and we refer to it as prior information loss (PIL). In training procedure of Class-IL, as the model has no knowledge about following tasks, it would only extract features necessary for tasks learned so far, whose information is insufficient for joint classification. In this paper, our empirical results on several image datasets show that PIL limits the performance of current state-of-the-art method for Class-IL, the orthogonal weights modification (OWM) algorithm. Furthermore, we propose to combine self-supervised learning, which can provide effective representations without requiring labels, with Class-IL to partly get around this problem. Experiments show superiority of proposed method to OWM, as well as other strong baselines.

研究の動機と目的

• クラス増分型生涯学習において、過去のタスクデータが欠落しているため、統合分類に有用な特徴を学習できないという、これまで無視されがちな問題である先行情報損失（PIL）を特定・分析すること。
• Cataストrophic forgettingが緩和されても、OWMのような最先端手法の性能がPILによって著しく制限されることを示すこと。
• 直交重み修正（OWM）と自己教師型学習（SSL）を新規に統合することで、欠落した先行知識を回復させ、全タスクにわたる一般化性能を向上させること。
• 回転予測やRGBシャッフルなどの異なるSSLプロキシタスクが、過去のタスクのラベルデータを必要とせずに特徴表現をどのように向上させるかを評価すること。

提案手法

• 教師あり分類損失と、回転予測などのプロキシタスクからの自己教師型コントラスト損失を組み合わせた新しい学習目的を導入する。
• SFA+AG（自己教師型データ拡張と集約）戦略の変更版を用いて、耐性を高める。複数の拡張されたビューを平均化して最終予測を行う。
• 増分学習中にSSL信号を適用する：各入力に対して、回転やRGBシャッフルなどの変換により複数のビューを生成し、モデルが変換タイプを予測するように学習させる。
• 二本のブランチ構造を採用する：一方のブランチは分類用に、もう一方は自己教師型プロキシタスク用に処理する。両方のブランチで特徴エンコーダーを共有する。
• OWMとSSLを共同損失で統合する：$L_t(x_t, y_t; heta_t, eta_t, ho_t) = \sum_{m=1}^M \left[ L_{ce}(C(E(f_m(x_t); \theta_t); \beta_t), y_t) + \alpha_t L_{ce}(F(E(f_m(x_t); \theta_t); \rho_t), m) \right] $、ここで$F$は変換タイプを予測し、$C$は分類を実行する。
• アンサンブル平均による予測を採用する：$p(y_{\leq t}|x_{\leq t}, \theta_t, \phi_t) = \frac{1}{M} \sum_{m=1}^M C(E(f_m(x_{\leq t})), \theta_t), \phi_t) $、これにより全タスクにわたる一般化性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 先行情報損失（PIL）は、OWMのような最先端のクラス増分型学習手法の性能をどの程度劣化させるか？
• RQ2 自己教師型学習（SSL）は、現在のタスクのみを最適化するのには不要だが、統合分類に必要な特徴を効果的に回復できるか？
• RQ3 回転予測やRGBシャッフルなどのSSLプロキシタスクの中で、過去データのリプレイなしに継続的学習で最も効果的なのはどれか？
• RQ4 タスク数が増加するに従って、OWM+SSLの性能はOWMや他のベースラインと比較してどの程度優れているか？
• RQ5 OWMとSSLの統合により、PILによって生じる性能差が緩和されるか。もしそうなら、その改善はどのような条件下で最も顕著になるか？

主な発見

• PILは、タスク数が増加するにつれてOWMの性能を著しく制限しており、OWMとOWM+FRの間の精度差が時間とともに拡大する。
• 10タスクのCIFAR100では、OWM+SSL（回転予測）が平均71.82%の精度を達成したのに対し、OWMは64.11%にとどまり、顕著な向上が確認された。
• 5タスクのSVHNでは、OWM+SSL（回転）が82.08%の精度を記録し、OWMの74.32%から7.76%の向上を示した。これは、低ショット・高変動環境でも強い性能向上を示している。
• 回転予測がRGBシャッフルを上回り、CIFAR10ではわずかに向上したが、SVHNでは性能を低下させた。これは、タスクに適したSSL信号が極めて重要であることを示している。
• OWM+SAA（自己教師型データ拡張と集約）はOWM+SSLよりも安定性に優れた性能を示したが、ピーク精度は低かった。これは、耐性と有効性のトレードオフである。
• OWMとOWM+FRの性能差は、タスク数が増えるにつれて拡大し、PILが過去データにアクセスできない状態で知識が蓄積されるほど深刻になることが確認された。