[論文レビュー] GLISTER: Generalization based Data Subset Selection for Efficient and Robust Learning

Krishnateja Killamsetty, Durga Sivasubramanian+2 more|arXiv (Cornell University)|Dec 19, 2020

Machine Learning and Algorithms被引用数 20

ひとこと要約

GLISTERは、検証ログリクアリティを最大化するために、混合離散連続二段階最適化を用いてデータサブセットを選択する、効率的で頑健な機械学習のための新しいフレームワークです。Glister-Onlineは反復的アルゴリズムであり、データ選択とモデルパラメータの最適化を同時に実行し、多様なモデルやデータセットにおいて、訓練効率、ラベルノイズに対する頑健性、アクティブラーニングの分野で最先端の性能を達成しています。精度の低下が最小限に抑えられています。

ABSTRACT

Large scale machine learning and deep models are extremely data-hungry. Unfortunately, obtaining large amounts of labeled data is expensive, and training state-of-the-art models (with hyperparameter tuning) requires significant computing resources and time. Secondly, real-world data is noisy and imbalanced. As a result, several recent papers try to make the training process more efficient and robust. However, most existing work either focuses on robustness or efficiency, but not both. In this work, we introduce Glister, a GeneraLIzation based data Subset selecTion for Efficient and Robust learning framework. We formulate Glister as a mixed discrete-continuous bi-level optimization problem to select a subset of the training data, which maximizes the log-likelihood on a held-out validation set. Next, we propose an iterative online algorithm Glister-Online, which performs data selection iteratively along with the parameter updates and can be applied to any loss-based learning algorithm. We then show that for a rich class of loss functions including cross-entropy, hinge-loss, squared-loss, and logistic-loss, the inner discrete data selection is an instance of (weakly) submodular optimization, and we analyze conditions for which Glister-Online reduces the validation loss and converges. Finally, we propose Glister-Active, an extension to batch active learning, and we empirically demonstrate the performance of Glister on a wide range of tasks including, (a) data selection to reduce training time, (b) robust learning under label noise and imbalance settings, and (c) batch-active learning with several deep and shallow models. We show that our framework improves upon state of the art both in efficiency and accuracy (in cases (a) and (c)) and is more efficient compared to other state-of-the-art robust learning algorithms in case (b).

研究の動機と目的

• 大規模な機械学習における訓練時間の短縮とラベルノイズおよびクラス不均衡に対する頑健性の向上という二重の課題に取り組む。
• データ効率性とモデル一般化性能の両方を同時に最適化する統合フレームワークを開発する。
• 訓練中に反復的なデータサブセット選択を可能にし、ラベル付けコストを削減するとともに収束性を向上させる。
• 選択プロセスに検証データを活用することで、分布シフト下でも頑健性を確保する。
• 人間を含むラベル付けプロセスを効率化するため、バッチアクティブラーニングへのフレームワークの拡張を実現する。

提案手法

• 検証ログリクアリティを最大化するために、データサブセット選択を混合離散連続二段階最適化問題として定式化する。
• モデルパラメータの更新とデータサブセット選択を交互に実行する反復的オンラインアルゴリズムであるGlister-Onlineを提案する。
• 共通の損失関数（交差エントロピー、ハム損失、二乗損失など）に対して、内側の離散的データ選択問題が弱い部分モジュラリティを示すことを証明する。
• 部分モジュラリティ最適化理論を活用し、やや緩い条件下でも理論的収束性と検証損失の低減を保証する。
• バッチアクティブラーニングへの拡張としてGlister-Activeを導入し、部分モジュラリティ関数を用いて不確実性と多様性を統合する。
• 一般化の代理として検証データを活用し、意思決定境界付近のサンプルを選択することで、頑健性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 統合フレームワークは、訓練効率とラベルノイズおよびクラス不均衡に対する頑健性を同時に向上させることができるか？
• RQ2 訓練中に反復的にデータサブセットを選択することは、モデルの収束性と一般化性能にどのように影響するか？
• RQ3 意思決定境界付近のデータを選択することで、分布シフト下での性能向上はどの程度達成できるか？
• RQ4 広範な損失関数クラスに対して、部分モジュラリティを用いた理論的正当性は得られるか？
• RQ5 データ選択、頑健な学習、アクティブラーニングの分野で、GLISTERは最先端手法と比べてどのように差をつけるか？

主な発見

• GLISTER-Onlineは、$ r = 0.03K $ の場合に特に、安定性と効率性のバランスを取って、ベースライン手法よりも収束が早く、検証損失も低い。
• CRAIG、ランダム選択、KNN-部分モジュラリティ選択と比較して、境界関連のサンプルをより効果的に選択する。特に共変量シフト下で顕著な優位性を示す。
• 合成データセットでは、GLISTER-Onlineは意思決定境界付近の点を選択するが、他の手法は全データ分布にわたる代表点を選択する。
• 実世界のベンチマークでは、GLISTERはデータ選択およびアクティブラーニングにおける訓練効率と正確性を向上させ、ラベルノイズ下での誤差も低減する。
• 理論的分析により、交差エントロピー、ハム損失、二乗損失、ロジスティック損失に対して、内側のデータ選択問題が弱い部分モジュラリティであることが確認された。
• 実験的結果から、GLISTER-Activeはバッチアクティブラーニングにおいて競争力のある性能を示し、サンプルの多様性と予測不確実性の取り扱いが向上している。