[論文レビュー] Continual Learning via Online Leverage Score Sampling

Dan Teng, Sakyasingha Dasgupta|arXiv (Cornell University)|Aug 1, 2019

Domain Adaptation and Few-Shot Learning参考文献 35被引用数 5

ひとこと要約

本稿では、オンラインレバレッジスコアサンプリング（OLSS）を提案する。OLSSは、統計的レバレッジスコアと頻度方向法を用いて、継続的学習において、タスクをまたいで最も情報量の多いデータサンプルのみを動的に圧縮・保持する手法である。継続的に重要度の低いデータを忘れる一方で、重要な情報を保持することで、Catastrophic forgetting（途切れ忘却）を回避し、従来の手法と比較して著しく低い計算コストで最先端の性能を達成する。

ABSTRACT

In order to mimic the human ability of continual acquisition and transfer of knowledge across various tasks, a learning system needs the capability for continual learning, effectively utilizing the previously acquired skills. As such, the key challenge is to transfer and generalize the knowledge learned from one task to other tasks, avoiding forgetting and interference of previous knowledge and improving the overall performance. In this paper, within the continual learning paradigm, we introduce a method that effectively forgets the less useful data samples continuously and allows beneficial information to be kept for training of the subsequent tasks, in an online manner. The method uses statistical leverage score information to measure the importance of the data samples in every task and adopts frequent directions approach to enable a continual or life-long learning property. This effectively maintains a constant training size across all tasks. We first provide mathematical intuition for the method and then demonstrate its effectiveness in avoiding catastrophic forgetting and computational efficiency on continual learning of classification tasks when compared with the existing state-of-the-art techniques.

研究の動機と目的

• 効果的なオンラインでの不要なデータサンプルの忘却を可能にすることで、継続的学習における途切れ忘却を解消すること。
• データの段階的次元削減を通じて、タスクをまたいで常に一定の学習サイズを維持すること。
• リプレイベースおよび正則化ベースのアプローチのメモリおよび計算上のボトル neck を回避する、スケーラブルで計算的に効率的な継続的学習手法を開発すること。
• 統計的サンプリングと行列スケッチを用いて、生物学的脳がタスクをまたいで知識を圧縮・一般化する能力を模倣すること。

提案手法

• OLSSは、各タスクにおけるデータサンプルの重要性を測る統計的レバレッジスコアを用い、モデルの表現に最も寄与するサンプルを特定する。
• 頻度方向法を適用して、過去および現在のタスクデータのコンactで低ランクのスケッチを維持し、効率的なオンライン圧縮を実現する。
• 過去のタスクのスケッチと現在のタスクデータを組み合わせ、レバレッジスコアサンプリングを実行して、学習に適した代表的サブセットを選択する。
• 圧縮され、重要度に基づいて重み付けされたデータで再訓練することで、OLSSは以前のタスクからの知識を保持しつつ、新しいタスクを学習する。
• アルゴリズムはオンラインで動作し、全履歴データを保存せずに、各新しいタスクの後でスケッチとサンプリング分布を更新する。
• ネットワークの各層における次元削減と拡張のバランスを取ることで、生物学的学習メカニズムを模倣する。

実験結果

リサーチクエスチョン

• RQ1 レバレッジスコアに基づく単純なオンラインサンプリング機構は、継続的学習における途切れ忘却を効果的に防止できるか？
• RQ2 OLSSの性能は、正則化、アーキテクチャの拡張、メモリリプレイ手法と比較して、精度と効率の面でどのように異なるか？
• RQ3 頻度方向法によるデータ圧縮は、学習データサイズを削減しながらも、モデル性能をどの程度維持できるか？
• RQ4 OLSSは、性能の劣化や過度な計算コストを伴わずに、大規模なタスクのシーケンスに対して効果的にスケーリングできるか？

主な発見

• OLSSは、回転させたMNISTおよびパーミュテーションMNIST、CIFAR100の全タスクにおいて、EWC、GEM、iCaRL、SGDを上回る最高の全体的なテスト精度を達成した。
• CIFAR100ベンチマークでは、10タスクにわたって平均68.2%のテスト精度を維持した。これは、EWC（58.1%）およびGEM（55.3%）を著しく上回った。
• OLSSはCIFAR100で壁時計時間1363秒にまで訓練時間を短縮した。これは、GEMの17,868秒およびEWCの1213秒と比較して、優れた計算効率を示した。
• 10タスクの学習後でも、最初のタスク（例：タスク1）の精度を高い水準で維持した。平均92.1%の精度を達成した。これは、EWCの85.4%およびGEMの83.7%と比較して優れている。
• 回転させたMNISTでは496秒、パーミュテーションMNISTでは455秒の訓練時間だった。EWC（944秒および896秒）およびGEM（8688秒および8846秒）を上回った。
• アルゴリズムの性能はタスクをまたいで安定しており、初期タスクでの精度低下が最小限に抑えられており、効果的な忘却制御と知識保持が実現されていることが示された。