[論文レビュー] Deep Active Learning by Leveraging Training Dynamics

Haonan Wang, Wei Huang+4 more|arXiv (Cornell University)|Oct 16, 2021

Machine Learning and Algorithms参考文献 54被引用数 8

ひとこと要約

本稿では、訓練動的変化（最適化ステップに対する損失関数の微分）を最大化するようにサンプルを選択することで一般化性能を向上させる理論的根拠に基づいた深層アクティブラーニング手法 dynamicAL を提案する。Neural Tangent Kernel (NTK) 理論を活用することで、収束速度の速さと一般化性能の向上の間に正の相関関係があることを確立し、疑似ラベル化とサブセット近似を用いて大規模なモデルへも効率的にスケーリング可能である。ResNet、VGG、CNN アーキテクチャを用いた CIFAR10、SVHN、Caltech101 において、ベースラインを上回る性能を発揮する。

ABSTRACT

Active learning theories and methods have been extensively studied in classical statistical learning settings. However, deep active learning, i.e., active learning with deep learning models, is usually based on empirical criteria without solid theoretical justification, thus suffering from heavy doubts when some of those fail to provide benefits in real applications. In this paper, by exploring the connection between the generalization performance and the training dynamics, we propose a theory-driven deep active learning method (dynamicAL) which selects samples to maximize training dynamics. In particular, we prove that the convergence speed of training and the generalization performance are positively correlated under the ultra-wide condition and show that maximizing the training dynamics leads to better generalization performance. Furthermore, to scale up to large deep neural networks and data sets, we introduce two relaxations for the subset selection problem and reduce the time complexity from polynomial to constant. Empirical results show that dynamicAL not only outperforms the other baselines consistently but also scales well on large deep learning models. We hope our work would inspire more attempts on bridging the theoretical findings of deep networks and practical impacts of deep active learning in real applications.

研究の動機と目的

• 既存の深層アクティブラーニング手法がしばしば経験的ヒューリスティクスに依存するのに対し、理論的裏付けが不足している点を是正すること。
• 過パラメータ化されたディープニューラルネットワークにおける訓練動的変化（収束速度）と一般化性能の間の理論的リンクを確立すること。
• 最小限のラベル情報でモデル性能を向上させるために、訓練動的変化を最大化するスケーラブルで実用的なアクティブラーニング手法を設計すること。
• i.i.d. の仮定が緩和された状況においても、NTK 範囲からの理論的知見を現実世界のアクティブラーニング設定に拡張すること。
• 訓練動的変化を最大化することが、一般化誤差の低減と多様なデータセットおよびアーキテクチャにおける性能向上に寄与することを実証すること。

提案手法

• 訓練収束の代理指標として、最適化ステップに関する損失関数の微分として定義される訓練動的変化を導入する。
• 超広い NTK 条件下で、収束速度の速さが一般化性能の向上と相関することを理論的に証明する。
• 訓練動的変化を最大化するように未ラベルサンプルを選択する、dynamicAL と呼ばれるアクティブラーニング手法を提案する。
• サブセット選択の計算複雑度を O(N^b) から O(b) に削減するための2つの緩和手法（疑似ラベル化とサブセット近似）を導入する。
• ラベルベクトルが NTK 空間に投影される割合を測る新しい指標「アライメント」を定義し、訓練動的変化および一般化性能と正の相関があることを示す。
• i.i.d. の仮定を超えて理論的分析を拡張するため、Maximum Mean Discrepancy (MMD) を用いることで、非 i.i.d. 状況下でもロバスト性を支持する。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化されたディープニューラルネットワークにおいて、訓練動的変化（収束速度）と一般化性能の間に理論的関係があるか。
• RQ2 訓練動的変化を最大化することは、アクティブラーニング設定において一般化性能の向上に寄与するか。
• RQ3 dynamicAL のサブセット選択問題を、高い計算コストを伴わず大規模スケールで効率的に近似できるか。
• RQ4 データ分布の i.i.d. 仮定が破綻した状況でも、本手法は有効性を保つのか。
• RQ5 NTK 範囲からの理論的知見を、標準アーキテクチャを用いた現実世界の深層アクティブラーニングに実用的に応用できるか。

主な発見

• dynamicAL は、CIFAR10、SVHN、Caltech101 におけるすべてのデータセットおよびアーキテクチャで、ランダム選択および core-set ベースラインを一貫して上回る性能を発揮する。
• バッチサイズ 500 の ResNet を用いた CIFAR10 では、第9ラウンドで dynamicAL が 60.35% の精度を達成し、core-set が 59.62%、ランダム選択が 58.08% であった。
• VGG を用いた SVHN では、dynamicAL が第9ラウンドで 86.57% の精度に到達し、core-set（85.62%）およびランダム（85.75%）を上回った。
• ResNet18 と b=500、r=15 を用いた Caltech101 における大規模クエリラウンド実験では、すべての画像が最終的に使用された状況でも、dynamicAL はベースラインを一貫して上回った。
• サブセット近似手法は、サブセット選択問題のグローバル最適解に非常に近い近似を達成しており、その有効性が裏付けられた。
• 理論的分析により、アライメント（ラベルベクトルが NTK 空間への投影）が高くなるほど収束が速くなり、一般化誤差が低減することが示され、本手法の設計根拠を支持した。