[論文レビュー] Meta-Weight-Net: Learning an Explicit Mapping For Sample Weighting

Jun Shu, Qi Xie+5 more|arXiv (Cornell University)|Feb 20, 2019

Machine Learning and Data Classification参考文献 71被引用数 398

ひとこと要約

本論文は、サンプルの明示的で学習可能な重み付け関数であるMeta-Weight-Net (MW-Net) を提案する。これはメタ学習を通じて学習され、バイアスのかかった学習データ（例：クラス不均衡やノイズラベル）に対して頑健に対処する重み付けを自動設計せずに実現する。

ABSTRACT

Current deep neural networks (DNNs) can easily overfit to biased training data with corrupted labels or class imbalance. Sample re-weighting strategy is commonly used to alleviate this issue by designing a weighting function mapping from training loss to sample weight, and then iterating between weight recalculating and classifier updating. Current approaches, however, need manually pre-specify the weighting function as well as its additional hyper-parameters. It makes them fairly hard to be generally applied in practice due to the significant variation of proper weighting schemes relying on the investigated problem and training data. To address this issue, we propose a method capable of adaptively learning an explicit weighting function directly from data. The weighting function is an MLP with one hidden layer, constituting a universal approximator to almost any continuous functions, making the method able to fit a wide range of weighting functions including those assumed in conventional research. Guided by a small amount of unbiased meta-data, the parameters of the weighting function can be finely updated simultaneously with the learning process of the classifiers. Synthetic and real experiments substantiate the capability of our method for achieving proper weighting functions in class imbalance and noisy label cases, fully complying with the common settings in traditional methods, and more complicated scenarios beyond conventional cases. This naturally leads to its better accuracy than other state-of-the-art methods.

研究の動機と目的

• ノイズラベルやクラス不均衡といったバイアスのかかった学習データの下で頑健な学習を促進する。
• データから直接重み付け関数を学習して、損失と重みの対応を手動で指定することを排除する。
• MLPベースのウェイトネットが従来の重み付け手法を近似し、複雑なバイアスに適応できることを示す。
• 小規模で偏りのないメタデータセットを用いて、分類器と重み付け関数のパラメータを共同更新するメタ学習フレームワークを提供する。

提案手法

• サンプル重み付けを V(L_i_train(w); Θ) としてモデル化する。これは1つの隠れ層を持つMLPで、[0,1]の範囲の重みを出力する。
• MW-Net から得られる重みを用いて、重み付き損失を SGD で最適化し、分類器のパラメータ w を更新する。
• 小規模で偏りのないメタデータセット上で計算されるメタ損失を用いて Θ を更新する： Θ* = argmin_Θ L_meta(w*(Θ))。
• 単一ループ内でのオンライン・交互更新を用いた双レベル/メタ学習手順（Algorithm 1）を適用する。
• 穏やかな条件下で、アルゴリズムがメタ損失と訓練損失の臨界点に収束することを示す収束解析を提供する。

実験結果

リサーチクエスチョン

• RQ1 MW-Net を介して明示的に学習された重み付け関数は、バイアス設定（不均衡、ノイズラベル、実データ）において、手動設計の重み付け手法と同等かそれを超えることができるか。
• RQ2 小さな偏りのないメタデータセットを用いたMW-Net のメタ学習は、重み付けを効果的に導き、汎化を改善するか。
• RQ3 MW-Net のアプローチは、異なる分類器アーキテクチャとデータバイアスに対して頑健か。
• RQ4 提案された二重ループ最適化の実践的な収束特性はどのようか。
• RQ5 異なるバイアス状況における学習された重み付け関数の解釈性はどの程度か。

主な発見

• MW-Net は、従来の事前知識と一致する重み付け関数を学習する（例：難易度が高い/不均衡なケースにはより大きい重み、ノイズラベルのサンプルにはより小さい重み）。
• 長尾分布の CIFAR 設定において、MW-Net は base モデルおよび focal loss、class-balanced、L2RW などの再重み付けベースラインを上回るテスト精度を達成。
• 均等ノイズと反転ラベルノイズの下で、MW-Net は CIFAR-10/100 全体で多くの競合より高い精度を達成し、ノイズ率が高い場合に顕著な改善を示す。
• Clothing1M では、比較手法の中で最も高い精度を達成し、実世界のノイズラベルへの有効性を示唆。
• 学習された重み分布は、クリーンなサンプルがノイズの多いサンプルより高い重みを受け、重み付け関数は徐々に進化し訓練中に安定することを示す。