[論文レビュー] Generalized Data Weighting via Class-level Gradient Manipulation

Can Chen, Shuhao Zheng+5 more|arXiv (Cornell University)|Oct 29, 2021

Machine Learning and Data Classification参考文献 51被引用数 5

ひとこと要約

本稿では、深層学習におけるラベルノイズとクラス不均衡の両方を同時に解消するため、クラスレベルでの勾配再重み付けを行う新規手法Generalized Data Weighting (GDW) を提案する。チェーンルールを用いて勾配をアンロールし、ゼロ平均制約を課したクラス固有の重みを適用することで、モデルのロバスト性と性能が向上する。標準学習に追加の計算コストをかけずに、CIFAR10で60%の均一ノイズ下でもSOTAを2.56%上回る精度を達成する。

ABSTRACT

Label noise and class imbalance are two major issues coexisting in real-world datasets. To alleviate the two issues, state-of-the-art methods reweight each instance by leveraging a small amount of clean and unbiased data. Yet, these methods overlook class-level information within each instance, which can be further utilized to improve performance. To this end, in this paper, we propose Generalized Data Weighting (GDW) to simultaneously mitigate label noise and class imbalance by manipulating gradients at the class level. To be specific, GDW unrolls the loss gradient to class-level gradients by the chain rule and reweights the flow of each gradient separately. In this way, GDW achieves remarkable performance improvement on both issues. Aside from the performance gain, GDW efficiently obtains class-level weights without introducing any extra computational cost compared with instance weighting methods. Specifically, GDW performs a gradient descent step on class-level weights, which only relies on intermediate gradients. Extensive experiments in various settings verify the effectiveness of GDW. For example, GDW outperforms state-of-the-art methods by $2.56\%$ under the $60\%$ uniform noise setting in CIFAR10. Our code is available at https://github.com/GGchen1997/GDW-NIPS2021.

研究の動機と目的

• インスタンスレベルの重み付け手法が勾配におけるクラスレベルの情報を活用できないという限界を解消すること。
• 現実のデータセットにおけるラベルノイズとクラス不均衡が重複する状況下でも、モデルのロバスト性を向上させること。
• 追加の計算オーバーヘッドを伴わずに、クラスレベルのデータ重みを学習するための効率的でスケーラブルな手法を開発すること。
• 有害な勾配フロー（例：'not class'信号）を効果的に抑制しつつ、有用な情報を保持することで、情報の利用効率を高めること。
• 既存のインスタンスレベル重み付け手法を一般化し、勾配操作フレームワークにクラスレベルの粒度を統合すること。

提案手法

• GDWはチェーンルールを用いて損失勾配をクラスレベルの勾配に分解し、各クラスごとの勾配フローの操作を可能にする。
• 各インスタンスごとにクラスレベルの重みを導入し、ゼロ平均制約を課した二段階最適化フレームワークにより最適化することで安定性を確保する。
• 中間勾配を活用してクラスレベル重みを効率的に更新するための二段階重み生成スキームを採用する。
• メタラーニングの枠組み内でエンドツーエンドでクラスレベル重みを学習する。外側のループでモデルパラメータを最適化し、内側のループでクラスレベル重みを最適化する。
• クラスレベル重みは中間勾配から直接導出されるため、標準学習に追加のフォワードパスを必要とせず、計算コストは標準学習と同一である。
• インスタンスレベル重み付け手法は、各インスタンスのすべてのクラスレベル重みが等しい特殊ケースと見なせるため、GDWはそれらを一般化する。

実験結果

リサーチクエスチョン

• RQ1 クラスレベルの勾配操作は、ラベルノイズとクラス不均衡が共存するデータセットでモデル性能を向上させることができるか？
• RQ2 クラスごとに勾配重み付けを分離することで、インスタンスレベル重み付けと比較して情報の利用効率が向上するか？
• RQ3 顕著な計算オーバーヘッドを伴わず、クラスレベル重みを効率的に学習できるか？
• RQ4 多様なノイズと不均衡設定下で、GDWはSOTAのインスタンスレベル重み付け手法と比較して、精度とロバスト性において優れているか？
• RQ5 長尾分布におけるマイノリティクラス性能に、クラスレベル重み付けがどのように影響を与えるか？

主な発見

• CIFAR10で60%の均一ノイズ下において、GDWはSOTA手法を2.56%上回る精度を達成し、ラベルノイズに対して強いロバスト性を示した。
• Clothing1Mデータセットでは、GDWが69.39%のテスト精度を達成し、次善の手法（MWNet）を0.93%上回った。
• μ=0.1の長尾CIFAR10では、マイノリティクラスC9のインスタンスに対して'not-C8'の勾配フローの重みを低減することで、'class'と'not-class'の情報のバランスを効果的に取った。その結果、マイノリティクラスの性能が向上した。
• クラスレベル重みにゼロ平均制約を課すことで、学習の安定性が保たれ、発散の防止と収束性の向上が達成された。
• GDWの二段階重み生成スキームは、中間勾配のみを用いてクラスレベル重みを効率的に計算し、標準学習に追加のFLOPsを要しない。
• 理論的に情報利用効率に優位性があるにもかかわらず、GDWはすべてのクラス不均衡シナリオでベースラインを大きく上回らないことが示された。これは、性能向上が勾配再重み付け単体ではなく、複数の相互に依存する要因に依存することを示唆している。