[論文レビュー] Information-theoretic Online Memory Selection for Continual Learning

Shengyang Sun, Daniele Calandriello+3 more|arXiv (Cornell University)|Apr 10, 2022

Domain Adaptation and Few-Shot Learning被引用数 12

ひとこと要約

この論文は、継続的学習におけるオンラインメモリ選択のための情報理論的アプローチを提案し、驚きと学習可能性の基準を用いて、情報量が多く、外れ値でないサンプルを選択する。ランク1の更新を用いたベイジアン線形モデルを活用することで、計算が効率的になり、リザボア・サンプリングと統合して、データの不均衡に対して耐性があり、計算コストが低いInfoRSを構築する。

ABSTRACT

A challenging problem in task-free continual learning is the online selection of a representative replay memory from data streams. In this work, we investigate the online memory selection problem from an information-theoretic perspective. To gather the most information, we propose the extit{surprise} and the extit{learnability} criteria to pick informative points and to avoid outliers. We present a Bayesian model to compute the criteria efficiently by exploiting rank-one matrix structures. We demonstrate that these criteria encourage selecting informative points in a greedy algorithm for online memory selection. Furthermore, by identifying the importance of extit{the timing to update the memory}, we introduce a stochastic information-theoretic reservoir sampler (InfoRS), which conducts sampling among selective points with high information. Compared to reservoir sampling, InfoRS demonstrates improved robustness against data imbalance. Finally, empirical performances over continual learning benchmarks manifest its efficiency and efficacy.

研究の動機と目的

• タスク境界が不明なタスクフリー継続的学習におけるオンラインメモリ選択の課題に対処すること。
• 標準的なリザボア・サンプリングを改善し、より情報量が多く多様なサンプルを選択することで、データ不均衡に対するモデルの耐性を高めること。
• ランク1行列更新を用いたベイジアン線形モデルを活用し、リアルタイムで情報理論的基準を効率的に計算する、スケーラブルな手法を開発すること。
• メモリ更新のタイミングが継続的学習性能に与える影響が顕著であり、早期に履歴データを削除するのを避けるために、遅延的または選択的な更新が有効であることを主張すること。

提案手法

• 驚き（現在のメモリを前提とした場合に新しいサンプルがどれほど予想外であるか）と学習可能性（干渉なしにどれだけうまく学習できるか）の2つの情報理論的基準を提案する。
• ランク1行列構造の更新を活用することで、ベイジアン線形モデルを用いてこれらの基準を効率的に計算し、特徴次元dに対してO(d)の計算量で1サンプルあたりの計算が可能となる。
• 代表的なメモリバッファを維持するために、MIC（記憶に値する情報基準）に基づいてサンプルを選択する貪欲なアルゴリズムを導入する。
• 高情報量のポイントにのみリザボア・サンプリングを適用するように設計された確率的情報理論的リザボア・サンプラー（InfoRS）を提案する。これにより、情報量が少なく重複するサンプルはフィルタリングされる。
• 標準的なリザボア・サンプリングや勾配ベースの選択と比較して、データ不均衡への感受性を低減することで、InfoRSが優れた性能を示すことを実証する。
• 予測分散に基づく基準を用いて情報量の増加を評価し、ベイジアン線形回帰における事後予測分布を用いる。

実験結果

リサーチクエスチョン

• RQ1 タスク境界が不明な継続的学習において、驚きや学習可能性といった情報理論的基準が、オンラインメモリ選択を効果的に導くことができるか？
• RQ2 メモリ更新のタイミングが継続的学習性能に与える影響は何か？また、履歴データを早期に削除するのを避けるために最適化可能か？
• RQ3 スケーラブルなベイジアンモデルは、大規模な継続的学習におけるオンライン利用に耐えるほど、情報基準を効率的に計算できるか？
• RQ4 情報基準を用いてリザボア・サンプリングをフィルタリングすることで、標準的なリザボア・サンプリングと比較して、データ不均衡に対する耐性が向上するか？
• RQ5 提案手法は、最小限の計算コストで最先端の性能を達成できるか？

主な発見

• InfoRSは、特に高いデータ不均衡下でも、標準的なリザボア・サンプリングや勾配ベースの選択を上回る継続的学習性能を達成する。
• 驚きと学習可能性の基準は、情報量の多いサンプルを的確に特定し、外れ値を除外することで、より代表的なメモリバッファを形成する。
• 提案されたベイジアンモデルにより、ランク1の更新を活用することで、1サンプルあたりO(d)の時間計算量でMICの計算が可能となり、オンライン学習に適している。
• 実験結果から、InfoRSは頻度の低いクラスに対しても高い精度を維持しており、データ不均衡に対する耐性の向上が示された。
• 標準的なリザボア・サンプリングと比較して、計算コストの増加が最小限に抑えられており、実世界の展開において実用的である。