[論文レビュー] SGD with Hardness Weighted Sampling for Distributionally Robust Deep Learning

Lucas Fidon, Sébastien Ourselin+1 more|arXiv (Cornell University)|Sep 25, 2019

Risk and Portfolio Optimization参考文献 11被引用数 6

ひとこと要約

本稿では、深層学習における分布ロバスト最適化（DRO）のための効率的で理論的根拠のある最適化手法、ハードネス重み付きサンプリングを用いたSGD（HWS）を提案する。損失履歴を保持し、ソフトマックスに基づく重み付け方式により、例を動的に再サンプリングすることで、過パラメータ化されたReLUネットワークにおいて収束を達成するとともに、SGDと同等の計算効率を維持し、恣意的なハード例マイニング戦略を凌駕する。

ABSTRACT

Distributionally Robust Optimization (DRO) has been proposed as an alternative to Empirical Risk Minimization (ERM) in order to account for potential biases in the training data distribution. However, its use in deep learning has been severely restricted due to the relative inefficiency of the optimizers available for DRO in comparison to the wide-spread Stochastic Gradient Descent (SGD) based optimizers for deep learning with ERM. We propose SGD with Hardness weighted sampling, an efficient optimization method for machine learning with DRO with a focus on deep learning. In this work, we propose SGD with hardness weighted sampling, a principled and efficient optimization method for DRO in machine learning that is particularly suited in the context of deep learning. We show that our optimization method can be interpreted as a principled Hard Example Mining strategy. Similar to an online hard example mining strategy in essence and in practice, the proposed algorithm is straightforward to implement and computationally as efficient as SGD-based optimizers used for deep learning. It only requires adding a softmax layer and maintaining a history of the loss values for each training example to compute adaptive sampling probabilities. In contrast to typical ad hoc hard mining approaches, and exploiting recent theoretical results in deep learning optimization, we We also prove the convergence of our DRO algorithm for over-parameterized deep learning networks with ReLU activation and finite number of layers and parameters. Preliminary results demonstrate the feasibility and usefulness of our approach.

研究の動機と目的

• データ分布のシフトに対して頑健であるものの、実用的でない既存のDRO最適化手法の非効率性を是正すること。
• 標準的なSGDベースのトレーニングパイプラインと互換性を持つ方法を設計することで、DROの計算ボトルネックを克服すること。
• 深層学習最適化の理論的知見を活用し、ヒューリスティックなハード例マイニングの代わりに理論的根拠のある代替戦略を開発すること。
• 有限の深さを持つReLU活性化関数を用いた過パラメータ化された深層ネットワークにおいて、提案されたDROアルゴリズムの収束を保証すること。
• 最小限のアーキテクチャ的・計算的オーバーヘッドで、実世界の深層学習応用におけるDROの実用的導入を可能にすること。

提案手法

• 各訓練例の履歴損失に基づき、ソフトマックス変換を用いて高い損失を示す例に高いサンプリング確率を割り当てる動的サンプリング戦略を導入する。
• 各訓練例の損失値の履歴を継続的に保持し、適応的サンプリング重みを計算することで、時間経過に伴いハード例に焦点を当てる。
• 各トレーニングステップでサンプリング分布を変更することで、サンプリング機構をSGDに統合し、標準的なSGDの単純さと効率性を保つ。
• 本手法はDRO理論に正式に根拠を持ち、理論的収束保証を伴う、原理的オンラインハード例マイニング戦略として解釈可能である。
• 標準的なDRO仮定の下で、有限の深さを持つReLU活性化関数を用いた過パラメータ化された深層ネットワークにおいて収束を証明する。
• 標準的な深層学習トレーニングパイプラインへの変更は、追加のソフトマックス層と損失履歴の追跡のみで、最小限にとどまる。

実験結果

リサーチクエスチョン

• RQ1 DROを、深層学習における実用的利用に耐えるほど計算的に効率的にできるか？
• RQ2 ハード例マイニングを、DROフレームワーク内での理論的根拠のある最適化戦略として形式化できるか？
• RQ3 提案されたハードネス重み付きサンプリング法は、過パラメータ化されたReLU活性化関数を有する深層ネットワークで収束するか？
• RQ4 本手法は、ERMベースのSGDと同等の性能を達成しながら、分布シフトに対する頑健性を向上させられるか？
• RQ5 適応的サンプリングは、DROトレーニングにおける一般化性能と収束性にどのような影響を与えるか？

主な発見

• 提案されたHWS手法は、標準的なSGDと同等の計算効率を達成し、深層学習システムにおける実用的導入を可能にする。
• 過パラメータ化されたReLU活性化関数を用いた有限の深さを持つ深層ネットワークにおいて、理論的に収束が保証されている。
• HWSは、恣意的でない原理的オンラインハード例マイニング戦略として解釈可能であり、一般的なヒューリスティック手法の欠点を回避する。
• 追加のソフトマックス層と損失履歴の追跡のみで、アーキテクチャ的変更が最小限に抑えられ、既存のトレーニングパイプラインへの統合が容易である。
• 予備の結果から、本手法が、顕著な計算コストを増加させることなく、頑健性の向上に有効であることが確認された。
• 本手法はSGDの単純さとスケーラビリティを維持しながら、分布ロバストトレーニングを可能にし、DROと標準的な深層学習最適化の間のギャップを埋める。