[論文レビュー] Making Look-Ahead Active Learning Strategies Feasible with Neural Tangent Kernels

Mohamad Amin Mohamadi, Wonho Bae+1 more|arXiv (Cornell University)|Jun 25, 2022

Machine Learning and Algorithms被引用数 6

ひとこと要約

本論文は、ニューラルタングェントカーネル（NTK）に基づく近似を提案し、深層ニューラルネットワークにおける効率的なアンテナクティブラーニングを可能にする。これにより、完全な再訓練を伴わずに仮想的なデータポイントからのモデル変化を正確に予測できる。この手法は、MNIST、SVHN、CIFAR10、CIFAR100において最先端の性能を達成するとともに、単純なアンテナ戦略と比較して計算量を100倍以上削減する。

ABSTRACT

We propose a new method for approximating active learning acquisition strategies that are based on retraining with hypothetically-labeled candidate data points. Although this is usually infeasible with deep networks, we use the neural tangent kernel to approximate the result of retraining, and prove that this approximation works asymptotically even in an active learning setup -- approximating "look-ahead" selection criteria with far less computation required. This also enables us to conduct sequential active learning, i.e. updating the model in a streaming regime, without needing to retrain the model with SGD after adding each new data point. Moreover, our querying strategy, which better understands how the model's predictions will change by adding new data points in comparison to the standard ("myopic") criteria, beats other look-ahead strategies by large margins, and achieves equal or better performance compared to state-of-the-art methods on several benchmark datasets in pool-based active learning.

研究の動機と目的

• 計算コストの高いアンテナ戦略を、深層ニューラルネットワークに実用的に行えるようにすること。
• 新しいデータから長期的なモデル向上を予測できないマイピックな取得関数の限界を克服すること。
• データラベリングとモデル再訓練を分離し、迅速なラベリングを可能にする逐次的アクティブラーニングを実現すること。
• NTK近似が反復的アクティブラーニングにおいて、完全再訓練の結果と漸近的に一致することを証明すること。
• NTKに基づくアンテナ戦略が、既存のアンテナ戦略および最先端のマイピック手法を上回ることを示すこと。

提案手法

• 仮想的な再訓練後のモデル出力を予測するために、ニューラルタングェントカーネル（NTK）を用いて深層ニューラルネットワークの挙動を近似する。
• NTKを用いてネットワークの線形化された代理モデルを計算し、SGDの更新なしで取得関数を高速に評価可能にする。
• 共役勾配カーネル回帰ソルバーを適用して、候補となるデータポイントにおけるNTKベースのモデル予測を効率的に計算する。
• NTK代理モデルを用いて近似された期待されるモデル出力の変化に基づくアンテナ取得関数を定式化する。
• 新しいラベル付きデータを段階的に更新することで、NTK近似を更新し、完全な再訓練を回避する。これにより、ラベリングとトレーニングを分離する。
• 無限幅極限において、NTK近似と完全再訓練との間で漸近的に同等であることを証明する。これは逐次的アクティブラーニングにおいても成り立つ。

実験結果

リサーチクエスチョン

• RQ1 仮想的なラベル付きデータポイントを追加した際の完全再訓練の結果を、ニューラルタングェントカーネルで効率的に近似できるか？
• RQ2 NTKに基づく近似は、完全再訓練が非現実的である深層ネットワークにおいて、正確なアンテナ取得関数を実現できるか？
• RQ3 NTK近似は、ラベリングとSGDトレーニングを分離することで、逐次的アクティブラーニングをサポートできるか？
• RQ4 提案手法の性能は、標準ベンチマークにおける最先端のアクティブラーニングベースラインと比較してどうなるか？
• RQ5 NTK近似は、無限幅極限にとどまらず、ある程度狭いネットワークに対しても正確性を維持できるか？

主な発見

• NTKベースの手法は、単純な再訓練と比較して、アンテナ取得のウォールクロックタイムを100倍以上短縮した。
• この手法は、すべての既存のアンテナ戦略を上回り、MNIST、SVHN、CIFAR10、CIFAR100において最先端の性能を達成した。
• NTK手法による逐次的クエリは、MNISTでサイクル3までに96％の精度に到達し、バッチベースのNTKおよびランダムラベリングを上回った。
• NTK近似は、やや広いネットワークに対しても効果的であり、全テスト幅において、ランダムラベリングよりも一貫した性能向上を示した。
• この手法は、ラベリングとトレーニングの分離を可能にし、再訓練なしに新しいラベルからのパフォーマンス向上を実現できる。これは、標準的なアクティブラーニングでは不可能である。
• NTK近似は、無限幅領域において完全再訓練と漸近的に同等であることが示され、理論的妥当性が裏付けられた。