[論文レビュー] Estimating Example Difficulty Using Variance of Gradients

Chirag Agarwal, Daniel D’souza+1 more|arXiv (Cornell University)|Aug 26, 2020

Machine Learning and Data Classification被引用数 7

ひとこと要約

本稿では、勾配の分散を用いてトレーニング中に例の難易度を順序付けする、計算効率的でモデルに依存しない方法であるVariance of Gradients (VoG) を紹介する。VoGは、ごみだらけの背景、非典型な視点、または記憶された特徴を示すような難しい例を特定し、低-VoGのテスト例をフィルタリングすることでモデルの一般化性能を向上させる。また、9つのOoD検出手法を上回り、9.26%の精度向上を達成する。

ABSTRACT

In machine learning, a question of great interest is understanding what examples are challenging for a model to classify. Identifying atypical examples ensures the safe deployment of models, isolates samples that require further human inspection and provides interpretability into model behavior. In this work, we propose Variance of Gradients (VoG) as a valuable and efficient metric to rank data by difficulty and to surface a tractable subset of the most challenging examples for human-in-the-loop auditing. We show that data points with high VoG scores are far more difficult for the model to learn and over-index on corrupted or memorized examples. Further, restricting the evaluation to the test set instances with the lowest VoG improves the model's generalization performance. Finally, we show that VoG is a valuable and efficient ranking for out-of-distribution detection.

研究の動機と目的

• 人間によるフィードバックを伴う監査を目的とした、大規模データセットにおける最も困難な例を特定する効率的でスケーラブルな手法の開発。
• モデルが分類しにくい例（特に非典型な視覚的特性や損傷した特徴を有する例）を可視化することで、解釈可能性を向上させる。
• 評価時に高-VoGの例をフィルタリングすることで、モデルの一般化性能を向上させる。
• 補助モデルやラベルなしで、教師なしでドメインに依存しない分布外（OoD）検出手法としてVoGを評価すること。

提案手法

• VoGは、各データサンプルについて複数のトレーニングチェックポイントにおける勾配の分散を計算し、勾配更新の変動具合を時間経過で測定する。
• 異なるクラス間での公平な比較を可能にするために、各クラスごとにこの分散を正規化する。
• 高VoGスコアは、安定しない勾配信号を一貫して訓練に影響させる例を示しており、難易度の高い例を示している。
• VoGは、既存のモデルチェックポイントからの標準的なバックプロパゲーション勾配のみを用いて計算され、追加のトレーニングやモデルの変更は不要である。
• OoD検出の目的で、VoGスコアを逆転させ、分布外サンプルを順位付けし、AUPRおよびAUROC評価において正例クラスとして扱う。
• 本手法は、CIFAR-10、CIFAR-100、ImageNetでResNet-50およびWide ResNet-28-10に適用し、トレーニングダイナミクスおよびデータの損傷に関するアブレーションを実施した。

(a) Toy dataset trained decision boundary

実験結果

リサーチクエスチョン

• RQ1 トレーニング時間にわたる勾配の分散が、スケーラブルでモデルに依存しない方法で例の難易度を効果的にランク付けできるか？
• RQ2 高-VoGの例は、視覚的に複雑で、損傷を受けたり、記憶された特徴を持つなど、モデルが学習しにくい例に対応しているか？
• RQ3 低VoGの例に限定して評価することにより、モデルの一般化性能が向上するか？
• RQ4 VoGは、既存の最先端のOoD検出手法と比較して、どのように性能を発揮するか？
• RQ5 VoGは、トレーニングの各段階におけるモデルの学習ダイナミクスに意味のあるパターンを明らかにしているか？

主な発見

• VoGスコアは、困難な例を効果的に特定する。高-VoGの画像は、ごみだらけの背景や非典型なオブジェクトの視点に過剰にインデックスされている。
• 高-VoGの画像は、MNIST-Cのような損傷データセットでの評価により、損傷しているか記憶された特徴を有する可能性が高いことが確認された。
• 評価を最低VoGのテスト例に限定することで、モデルの一般化性能が向上し、VoGが困難なケースをフィルタリングする有効性が示された。
• VoGは、MNIST-Cにおいて9つの既存のOoD検出手法を上回り、AUROCが85.42 ± 10.28、AUPR（Out）が84.96 ± 9.61を達成し、全ベースラインに対して9.26%の精度向上を達成した。
• AE や AEGAN といった手法とは異なり、補助モデルの複雑なトレーニングを必要としないため、ImageNetのような大規模データセットにもスケーラブルである。
• VoGは初期トレーニング段階で色のバイアスを明らかにし、学習ダイナミクスを捉える。低-VoGの画像は、後期段階で代表的な視点とクリアな背景を示している。

(b) Distance vs. VoG score