[論文レビュー] Coresets via Bilevel Optimization for Continual Learning and Streaming

Zalán Borsos, Mojmír Mutný+1 more|arXiv (Cornell University)|Jun 6, 2020

Domain Adaptation and Few-Shot Learning参考文献 61被引用数 78

ひとこと要約

tldr: 本研究は、小規模なラベル付きデータコアセットを構築するための階層最適化フレームワークを提案し、継続学習とストリーミングにおける効果的なニューラルネットワーク訓練を可能とする。貪欲なマッチング追跡法アプローチと深層モデルへ拡張するための代理RKHS/NTK定式化を組み合わせている。

ABSTRACT

Coresets are small data summaries that are sufficient for model training. They can be maintained online, enabling efficient handling of large data streams under resource constraints. However, existing constructions are limited to simple models such as k-means and logistic regression. In this work, we propose a novel coreset construction via cardinality-constrained bilevel optimization. We show how our framework can efficiently generate coresets for deep neural networks, and demonstrate its empirical benefits in continual learning and in streaming settings.

研究の動機と目的

• オンラインデータの到着とメモリ制約の下で、継続学習とストリーミングにおいて正確なモデルを維持するためにコアセットの利用を動機付ける。
• データ点数制約付きの階層最適化に基づく一般的なコアセット構築フレームワークを提案する。
• 代理モデルとRKHS/NTK定式化を通じて深層ニューラルネットワークの効率的なコアセット生成を可能にする。
• 提案されたコアセットのリプレイメモリベースの継続学習およびストリーミングシナリオにおける実証的な利得を示す。

提案手法

• 内部問題が正則化された損失を最小化し、外部問題が内部解に対する損失を最小化する、データ点数制約付きの階層最適化問題としてコアセット選択を定式化する。
• 局所的な内部解と暗黙勾配計算を用いて、外部目的関数を最も削減するデータ点を反復的に追加する、貪欲な前向き（マッチング追跡）アプローチにより階層問題を解く。
• ニューラルネットワーク訓練時に大規模ヘシアンの逆算を回避するため、再生核Hilbert空間（RKHS）上の代理モデルを使用し、外部ループ最適化のスケーラビリティを可能にする。
• 内部問題が最大でm個のデータ点（コアセットサイズ）に依存するよう、Representer定理ベースの縮約を採用する。
• 方法を影響関数と実験設計に結び付け、選択基準と凸の場合の収束について直感を提供する。

実験結果

リサーチクエスチョン

• RQ1 階層最適化フォーミュレーションは、ニューラルネットワークのような複雑なモデルを訓練する際に有効で小さなコアセットを生み出せるか？
• RQ2 継続学習とストリーミングをサポートするために、オンラインで小さなデータサブセットをどのように効率的に選択して壊滅的忘却を回避するか？
• RQ3 この設定における貪欲なマッチング追跡スタイルのコアセット選択の理論的・実証的性質（収束性・性能）は何か？
• RQ4 代理RKHS/NTK定式化は深層ネットワークのコアセット構築の実用性と性能にどのように影響するか？

主な発見

• 提案されたフレームワークは、リプレイメモリベースの継続学習およびストリーミングにおいて、いくつかのベースラインと比較して性能を向上させる代表的なコアセットを生み出す。
• 局所的な内部解と暗黙勾配を用いた貪欲なマッチング追跡法は、データ点数制約付き階層問題に対する実用的な解を提供する。
• RKHS/NTKを用いる代理定式はニューラルネットワークのコアセット生成をスケーラブルにし、外部ループ計算を大幅に高速化する（NTKプロキシの使用など）。
• 本手法は、PermMNIST、SplitMNIST、SplitCIFAR-10といった継続学習ベンチマークおよび不均衡なストリームを含むストリーミングシナリオで、競争力あるまたは優れた性能を示している。
• 本手法はベイズ的実験設計および経験的影響関数へのつながりを確立し、コアセット選択戦略の理論的根拠を提供する。