[論文レビュー] Faster Meta Update Strategy for Noise-Robust Deep Learning

Youjiang Xu, Linchao Zhu+2 more|arXiv (Cornell University)|Apr 30, 2021

Machine Learning and Data Classification参考文献 62被引用数 7

ひとこと要約

本稿では、学習可能な段階別サンプリング機構を用いてメタ勾配を近似することで、メタ学習の速度を向上させる新規手法であるFaster Meta Update Strategy (FaMUS) を提案する。ノイズが多いおよび長尾分布のデータにおいても一般化性能を維持または向上させつつ、学習時間を最大66%短縮できる。FaMUSは、合成データおよび実世界のノイズラベルベンチマークで最先端の性能を達成し、勾配の分散が低く、収束が速い。

ABSTRACT

It has been shown that deep neural networks are prone to overfitting on biased training data. Towards addressing this issue, meta-learning employs a meta model for correcting the training bias. Despite the promising performances, super slow training is currently the bottleneck in the meta learning approaches. In this paper, we introduce a novel Faster Meta Update Strategy (FaMUS) to replace the most expensive step in the meta gradient computation with a faster layer-wise approximation. We empirically find that FaMUS yields not only a reasonably accurate but also a low-variance approximation of the meta gradient. We conduct extensive experiments to verify the proposed method on two tasks. We show our method is able to save two-thirds of the training time while still maintaining the comparable or achieving even better generalization performance. In particular, our method achieves the state-of-the-art performance on both synthetic and realistic noisy labels, and obtains promising performance on long-tailed recognition on standard benchmarks.

研究の動機と目的

• 現在、3〜7倍の長い学習時間のため、実用的導入が制限されているメタ学習の高い計算コストを軽減すること。
• ノイズや偏りのある訓練データが存在する中で、一般化性能を損なわず、訓練効率を向上させること。
• 計算量を削減する低分散かつ高精度なメタ勾配の近似を提供すること。
• WebVision や CNWL といったノイズラベルベンチマークで、追加の計算コストを最小限に抑えつつ最先端の性能を達成すること。

提案手法

• FaMUSは、全メタ勾配計算を、メタ勾配蓄積に有用な層のみを選択する学習可能な勾配サンプラーに置き換える。
• 異なる可能で、段階別に層をサンプリングする戦略を導入し、どの層をメタ勾配計算に含めるかを学習することで、情報量が少ない層の計算を効果的にスキップする。
• メタ勾配近似は、サンプリングされた層のみで計算されるため、メタトレインステップにおけるバックワードパスのコストが顕著に低減される。
• 学習可能なサンプラーはエンドツーエンドで訓練され、モデルが自動的に勾配更新に最も有用な層を特定・集中的に処理できる。
• ノイズや冗長な信号を情報量が少ない層からフィルタリングすることで、勾配の分散が低減され、最適化がより安定する。
• FaMUSは、MW-Net や L2R といった既存のメタ学習フレームワークに、最小限のアーキテクチャ変更で適用可能であり、追加のクリーンデータを必要としない。

実験結果

リサーチクエスチョン

• RQ1 学習可能な段階別サンプリング戦略は、大幅に計算量を削減しつつ、全メタ勾配を効果的に近似できるか？
• RQ2 全勾配計算と比較して、提案手法 FaMUS はメタ勾配の分散を低減できるか？
• RQ3 FaMUS は学習時間を66%短縮しつつ、収束を速くし、一般化性能を向上させられるか？
• RQ4 FaMUS は合成データおよび実世界のノイズラベルベンチマークで、性能を維持または向上させられるか？
• RQ5 FaMUS は、性能の低下を最小限に抑えつつ、長尾認識タスクに効果的に適用可能で、顕著な高速化を達成できるか？

主な発見

• WebVision データセットに MW-Net に適用した場合、FaMUS はトップ-1精度に損失を生じさせることなく、学習時間を最大66%短縮した。
• 対称的ラベルノイズを含む CIFAR-10 および CIFAR-100 において、FaMUS はベースライン手法よりも統計的に有意に優れた性能を示し、片側t検定でp < 0.05 を達成した。
• 挑戦的な CNWL ベンチマークにおいて、FaMUS は MentorMix や DivideMix といった強力なベースラインを上回り、さまざまなノイズ率においても頑健であることが示された。
• 追加のクリーンデータを使用せずに、Clothing1M で74.4%のトップ-1精度を達成し、最先端の性能と同等となった。
• 長尾認識タスクでは、FaMUS は MW-Net の学習を2.9倍高速化しながら、従来のメタ学習手法、特に改善版 L2R よりも一貫して優れた性能を示した。
• 図1(c) に示すように、FaMUS のメタ勾配近似は、真値勾配よりも分散が低く、より安定したかつ効率的な最適化に寄与している。