[論文レビュー] Regularizing Meta-Learning via Gradient Dropout

Hung-Yu Tseng, Yiwen Chen+4 more|arXiv (Cornell University)|Apr 13, 2020

Domain Adaptation and Few-Shot Learning参考文献 40被引用数 6

ひとこと要約

本論文では、メタラーニングにおける一般化性能を向上させるために、内側ループ最適化中に勾配をランダムにドロップする勾配ドロップアウト正則化手法であるDropGradを提案する。ベルヌーイ分布またはガウス分布からのノイズを勾配に適用することで、少数のラベル付きタスクでの過学習を軽減し、モデル特化の修正を要せず、画像認識タスク（少数のラベル付き分類、オブジェクト追跡、視点推定など）において一貫した性能向上を達成する。

ABSTRACT

With the growing attention on learning-to-learn new tasks using only a few examples, meta-learning has been widely used in numerous problems such as few-shot classification, reinforcement learning, and domain generalization. However, meta-learning models are prone to overfitting when there are no sufficient training tasks for the meta-learners to generalize. Although existing approaches such as Dropout are widely used to address the overfitting problem, these methods are typically designed for regularizing models of a single task in supervised training. In this paper, we introduce a simple yet effective method to alleviate the risk of overfitting for gradient-based meta-learning. Specifically, during the gradient-based adaptation stage, we randomly drop the gradient in the inner-loop optimization of each parameter in deep neural networks, such that the augmented gradients improve generalization to new tasks. We present a general form of the proposed gradient dropout regularization and show that this term can be sampled from either the Bernoulli or Gaussian distribution. To validate the proposed method, we conduct extensive experiments and analysis on numerous computer vision tasks, demonstrating that the gradient dropout regularization mitigates the overfitting problem and improves the performance upon various gradient-based meta-learning frameworks.

研究の動機と目的

• 少数のトレーニングタスクしか利用できない勾配ベースのメタラーニングにおける過学習を解消すること。
• 標準的なドロップアウトが、メタパラメータと内側ループパラメータの間でランダム性が不一致となるため、メタラーニングにおいて有効な正則化手法を開発すること。
• モデルに依存しない汎用的な正則化技術を提案し、多様なメタラーニングフレームワークに適用可能であるようにすること。
• 少数のラベル付きタスクにおける複数のコンピュータビジョンタスク（クロスドメイン少数ラベル学習含む）において、勾配ドロップアウトの有効性を実証すること。

提案手法

• DropGradは、メタラーニングの内側ループ最適化中に勾配の確率的ドロップアウトを適用し、モデルパラメータの更新に使用される勾配に直接ノイズを注入する。
• ノイズはベルヌーイ分布またはガウス分布からサンプリングされ、勾配を摂動することで一般化を向上させる一般的な勾配正則化形式を採用する。
• 正則化はメタトレーニング中に適用され、メタパラメータθと適応パラメータθ′の間で一貫したランダム性を確保し、ドロップアウトパターンの不一致を回避する。
• このアプローチはモデルに依存せず、MAML、Meta-Tracker、MetaViewなどの既存の勾配ベースのメタラーニングフレームワークに最小限の修正で統合可能である。
• ノイズ注入はネットワーク内の各パラメータごとに行われ、ドロップアウト率などのハイパーパrameterは最適な性能を得るために調整される。
• 本手法は、少数のラベル付き分類、オンライン追跡、視点推定タスクの標準プロトコルに従って評価されている。

実験結果

リサーチクエスチョン

• RQ1 トレーニングタスクが限られた状況下で、勾配レベルの正則化が過学習を軽減できるか？
• RQ2 活性化や重みではなく、勾配にドロップアウトを適用することで、少数のラベル付き学習における一般化性能が向上するか？
• RQ3 一様な正則化スキームが、多様なメタラーニングフレームワークとタスクに有効に機能するか？
• RQ4 ドメインシフトが一般化の難易度を高めるクロスドメイン少数ラベル学習において、勾配ドロップアウトはどのように性能を示すか？

主な発見

• 視点推定ベンチマークにおいて、mini-ImageNetでの少数ラベル分類精度が1.16%向上（45.00%から46.16%に）。
• OTB2015でのオンラインオブジェクト追跡において、精度と成功率の両方を向上させ、MetaCRESTおよびMetaSDNetトレッカーにおいて一貫した性能向上を示した。
• クロスドメイン少数ラベル分類（mini-ImageNetからCUB）において、ドメインシフトに対する耐性を示し、一般化性能が顕著に向上した。
• ガウスドロップアウトの0.2のレートが追跡性能を向上させた一方、視点推定には0.1のレートが最適であった。
• 広範なアブレーション実験の結果、後段の層に勾配ドロップアウトを適用するとより強い向上効果が得られ、層ごとの感受性が顕著に現れた。
• 本手法はフレームワークをまたがって汎用的であり、メトリックベースおよび勾配ベースの両方のメタラーニング設定で性能向上を達成した。