[論文レビュー] Revisiting Distributionally Robust Supervised Learning in Classification

Weihua Hu, Gang Niu+2 more|arXiv (Cornell University)|Nov 7, 2016

Domain Adaptation and Few-Shot Learning参考文献 27被引用数 7

ひとこと要約

本稿では、分布シフトに関する構造的仮定を明示的に組み込むことで、標準的経験的リスク最小化に収束してしまうのを避ける新しい分布的ロバストな教師付き学習（DRSL）フレームワークを提案する。分布シフトの形を制約することで、効率的な勾配ベース最適化によりロバストな意思決定境界を学習し、既知の収束および推定誤差率を伴い、分布シフト下でも一般化性能が向上する。

ABSTRACT

Distributionally Robust Supervised Learning (DRSL) is necessary for building reliable machine learning systems. When machine learning is deployed in the real world, its performance can be significantly degraded because test data may follow a different distribution from training data. Previous DRSL minimizes the loss for the worst-case test distribution. However, our theoretical analyses show that the previous DRSL essentially reduces to ordinary empirical risk minimization in a classification scenario. This implies that the previous DRSL ends up learning classifiers exactly for the given training data even though it is designed to be robust to distribution shift from the training dataset. In order to learn practically useful robust classifiers, our theoretical analyses motivate us to structurally constrain the distribution shift considered by DRSL. To this end, we propose novel DRSL which can incorporate the structural assumptions on distribution shift and that can learn useful robust decision boundaries based on the assumptions. We derive efficient gradient-based optimization algorithms and establish the convergence rate of the model parameter as well as the order of the estimation error for our DRSL. The effectiveness of our DRSL is demonstrated through experiments.

研究の動機と目的

• 従来のDRSL手法が分類タスクにおいて通常の経験的リスク最小化に還元され、ロバスト性が損なわれるという限界を是正すること。
• 従来のDRSLが分類において真のロバスト性を達成できない理由を、理論的挙動の分析を通じて特定すること。
• 分布シフトに関する構造的仮定を組み込むことで、実用的価値のあるロバストな分類器を学習可能にする新しいDRSL定式化を開発すること。
• 提案されたDRSLフレームワークに対する効率的な勾配ベース最適化アルゴリズムを導出すること。
• 提案手法の理論的収束および推定誤差率を確立すること。

提案手法

• 分布シフトをモーメントまたはサポート制約などの構造的制約を通じて明示的にモデル化する、新しいDRSL定式化を提案。すべての可能な分布を考慮するのではなく、特定の構造的制約を設ける。
• 構造的仮定を満たす分布の集合上で、最悪ケース損失を最小化する制約付き最適化フレームワークを導入。
• 双対性を活用し、ロバスト最適化問題を扱いやすい形に再定式化することで、勾配ベース最適化アルゴリズムを導出。
• Wasserstein距離または類似の確率的距離を用いて、構造的仮定に基づく妥当なテスト分布の集合を定義。
• やや弱い正則性条件のもとで、モデルパラメータが最適解に収束することを確立。
• 学習済み分類器の推定誤差率を分析し、標本サイズおよび構造的複雑度に応じて良好にスケーリングされることを示す。

実験結果

リサーチクエスチョン

• RQ1 なぜ従来のDRSLは、理論的には有望であるにもかかわらず、分類タスクにおいてロバスト性を提供できないのか？
• RQ2 分布シフトに関する構造的仮定を、DRSLに形式的に組み込むにはどうすればよいか？
• RQ3 提案された制約付きDRSL問題を効率的に解く最適化アルゴリズムは何か？
• RQ4 提案されたDRSL手法の理論的収束および推定誤差特性は何か？
• RQ5 提案されたDRSLは、分布シフト下で、標準的DRSLおよびベースライン手法と比べてどのように異なるか？

主な発見

• 理論的分析により、分類における標準的DRSLが通常の経験的リスク最小化に還元されることが明らかになった。これにより、分布シフトに対して無力であることが示された。
• 分布シフトに関する構造的仮定を組み込むことで、提案されたDRSLは、標準的ERMへの崩壊を回避し、真にロバストな意思決定境界を学習する。
• 提案手法は、与えられた仮定のもとで既知の最適レートと同等のモデルパラメータの収束レートを達成する。
• 分類器の推定誤差は有界であり、構造的制約の複雑度および標本サイズに応じてスケーリングされる。
• 実験的結果により、提案されたDRSLは、さまざまな分布シフトシナリオ下で、標準的DRSLおよびベースライン手法を上回ることが示された。
• 勾配ベース最適化アルゴリズムは効率的に収束し、ロバストモデルの実用的導入を可能にする。