[論文レビュー] Understanding the role of importance weighting for deep learning

Da Xu, Yuting Ye+1 more|arXiv (Cornell University)|Mar 28, 2021

Domain Adaptation and Few-Shot Learning参考文献 39被引用数 14

ひとこと要約

本稿は深層学習における重要度重み付けの理論的分析を提供し、勾配降下法における最大マージン解への暗黙的バイアスのため、一般化への影響が減少することを示している。重要度重み、分布の乖離、モデルの複雑さを組み込んだ一般化バウンドを確立し、モデルがデータ分離を達成すると重要度重み付けが効果を失う理由を説明している。

ABSTRACT

The recent paper by Byrd & Lipton (2019), based on empirical observations, raises a major concern on the impact of importance weighting for the over-parameterized deep learning models. They observe that as long as the model can separate the training data, the impact of importance weighting diminishes as the training proceeds. Nevertheless, there lacks a rigorous characterization of this phenomenon. In this paper, we provide formal characterizations and theoretical justifications on the role of importance weighting with respect to the implicit bias of gradient descent and margin-based learning theory. We reveal both the optimization dynamics and generalization performance under deep learning models. Our work not only explains the various novel phenomenons observed for importance weighting in deep learning, but also extends to the studies where the weights are being optimized as part of the model, which applies to a number of topics under active research.

研究の動機と目的

• 過パラメータ化された深層学習モデルにおける重要度重み付けの役割を厳密に特徴づけること。
• モデルが学習データを分離できるようになると重要度重み付けの有効性が失われるという経験的観察を説明すること。
• 重要度重み付け、最適化ダイナミクス、一般化性能の間の相互作用を形式化すること。
• 重要度重みをモデルと同時に最適化する設定への理論的理解を拡張すること。
• 重み付き学習下での経験的リスクと分布の乖離を両方とも考慮する一般化バウンドを提供すること。

提案手法

• 重要度重み付けを施した線形モデルにおける勾配降下法の最適化ダイナミクスの理論的分析。
• 重要度重み、モデルの複雑さ、ソース分布とターゲット分布のKLダイバージェンスに依存する一般化バウンドの導出。
• 重み付きラデマッハ複雑度を用いて重要度重み付けの一般化への影響を定量化。
• 部分的ガウス型濃縮と有界差分不等式を用いて、重み付き経験的リスクの乖離を制御。
• 重み付き経験的リスク最小化（ERM）に適応したマージンに基づく一般化理論の形式化。
• 重み付きERMにおける暗黙的バイアスの形式化により、再重み付けがあっても最大マージン解への収束が示された。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化された深層ニューラルネットワークにおける勾配降下法の暗黙的バイアスに、重要度重み付けがどのように影響を与えるか？
• RQ2 データ分離が達成されると、なぜ重要度重み付けの影響力が失われるのか？
• RQ3 重要度重み付け、一般化誤差、分布シフトの理論的関係は何か？
• RQ4 重要度重みをモデルと同時に最適化すると、学習ダイナミクスと一般化性能にどのような影響があるか？
• RQ5 経験的リスクとソース分布とターゲット分布の乖離を両方とも考慮する一般化バウンドを導出できるか？

主な発見

• データが線形分離可能で勾配降下法が用いられる場合、最大マージン解への暗黙的バイアスのため、重要度重み付けの影響は最終モデルに対して最小限に抑えられる。
• 導出された一般化バウンドは、重み付き経験的リスク、モデルの複雑さ、ソース分布とターゲット分布のKLダイバージェンスに依存する。
• 重み付きラデマッハ複雑度が分布乖離の平方根に比例することを示し、分布シフトと一般化誤差の間の関連を明確にした。
• 弱い正則化下の非線形ネットワークに対しても、正規化されたマージンは依然として最大マージン解に収束するが、重要度重み付けがあっても同様である。
• 困難に分類される度合い（例：マージンの近接度）の逆数に比例する重要度重みは、より優れた性能を示すため、原理的設計戦略を示唆している。
• 重要度重みをモデルと同時に最適化する場合、重みがモデルの信頼度やマージンと強く相関し始めると、その影響は薄れる。