[論文レビュー] TaskNorm: Rethinking Batch Normalization for Meta-Learning

John Bronskill, Jonathan Gordon+3 more|arXiv (Cornell University)|Mar 6, 2020

Domain Adaptation and Few-Shot Learning参考文献 27被引用数 30

ひとこと要約

TaskNorm は、メタ学習に合わせた正規化を提案し、コンテキスト集合の統計と個々のサンプルの統計を組み合わせることで、多くのデータセットにわたり学習速度とテスト性能を向上させます。

ABSTRACT

Modern meta-learning approaches for image classification rely on increasingly deep networks to achieve state-of-the-art performance, making batch normalization an essential component of meta-learning pipelines. However, the hierarchical nature of the meta-learning setting presents several challenges that can render conventional batch normalization ineffective, giving rise to the need to rethink normalization in this setting. We evaluate a range of approaches to batch normalization for meta-learning scenarios, and develop a novel approach that we call TaskNorm. Experiments on fourteen datasets demonstrate that the choice of batch normalization has a dramatic effect on both classification accuracy and training time for both gradient based and gradient-free meta-learning approaches. Importantly, TaskNorm is found to consistently improve performance. Finally, we provide a set of best practices for normalization that will allow fair comparison of meta-learning algorithms.

研究の動機と目的

• メタ学習設定における標準的なバッチ正規化の限界を浮き彫りにする。
• メタ学習に合わせて設計された正規化スキームとして TaskNorm を提案する。
• 多様なデータセットとメタ学習アルゴリズムにおいて、TaskNorm の一貫した性能向上を示す。
• メタ学習研究における公正な正規化比較のためのベストプラクティスの推奨を提供する。

提案手法

• メタ学習を階層確率モデルとみなし、タスク局所の正規化統計を正当化する。
• Batch normalization のタスク局所バリアントとして MetaBN を導入する。
• コンテキストセットのモーメントと非トランスダクティブなサンプルごとのモーメントを、コンテキストセットサイズに依存する学習可能な α を用いて組み合わせることで TaskNorm を開発する。
• BN のモーメントとサンプル固有のモーメントを混ぜ合わせる式（α 制御）を用いて、mu_TN および sigma_TN^2 をプールモーメントとして定義する。
• α を sigmoid(scale * |D^τ| + offset) としてパラメータ化し、層ごとにコンテキストセットサイズに適応させる。
• 複数のデータセットで、従来の BN、トランスダクティブ BN、およびインスタンスベースの正規化と TaskNorm を実証的に比較する。

実験結果

リサーチクエスチョン

• RQ1 さまざまなデータセットとアルゴリズムにおいて、正規化の選択がメタ学習の性能と訓練速度にどう影響するか。
• RQ2 メタ学習を意識した正規化（TaskNorm）が、特に少数ショット設定で標準 BN や他の NL より優れているだろうか。
• RQ3 トランスダクティブと非トランスダクティブな正規化がメタ学習の比較に与える影響は何か、またそれらはどのように表記すべきか。
• RQ4 タスクレベルの構造を反映しつつ、テスト情報を漏らさずに正規化統計をメタ学習でどのように計算すべきか。

主な発見

• 正規化の選択は、勾配ベース・勾配なしの両方のメタ学習において、精度と学習時間に劇的な影響を与える。
• TaskNorm は、14 のデータセットを通じて競合する正規化スキームより一貫して性能を向上させる。
• Transductive BN (TBN) はしばし高い精度を示すことがあるが、公正な非転送的な比較やストリーミング/テスト時設定には問題がある。
• MetaBN と TaskNorm（特に TaskNorm-I および TaskNorm-L のバリアント）は、効率的な訓練で強力な非転送的性能を提供する。
• 小さなコンテキスト領域（少数ショット）では、TaskNorm のコンテキストと個々のモーメントの組み合わせが、コンテキストだけの方法よりもより頑健な統計を提供する。