[論文レビュー] Robust Generalization despite Distribution Shift via Minimum Discriminating Information

Tobias Sutter, Andreas Krause+1 more|arXiv (Cornell University)|Jun 8, 2021

Machine Learning and Algorithms被引用数 4

ひとこと要約

本稿では、テスト分布の部分的な構造的知識が利用可能な状況において、分布シフトをモデル化するための分布的ロバスト最適化フレームワークを提案する。最小分散情報の原則と分布的ロバスト最適化、および大偏差境界を組み合わせることで、分布シフト下でも証明可能なロバストな一般化が達成され、バイアス分類およびオフポリシー評価の両タスクで既存手法を上回る性能を発揮する。

ABSTRACT

Training models that perform well under distribution shifts is a central challenge in machine learning. In this paper, we introduce a modeling framework where, in addition to training data, we have partial structural knowledge of the shifted test distribution. We employ the principle of minimum discriminating information to embed the available prior knowledge, and use distributionally robust optimization to account for uncertainty due to the limited samples. By leveraging large deviation results, we obtain explicit generalization bounds with respect to the unknown shifted distribution. Lastly, we demonstrate the versatility of our framework by demonstrating it on two rather distinct applications: (1) training classifiers on systematically biased data and (2) off-policy evaluation in Markov Decision Processes.

研究の動機と目的

• 実世界の機械学習応用における分布シフトに起因するモデル性能の低下という課題に対処すること。
• 部分的な構造的知識と最小分散情報の原則を用いて、未知のテスト分布を体系的にモデル化する手法を開発すること。
• 大偏差理論を用いて、分布シフト下での明示的な一般化境界を提供すること。
• バイアスデータ分類とマルコフ意思決定過程におけるオフポリシー評価という2つの異なる応用分野において、フレームワークの有効性を示すこと。
• 理論的保証を通じて、分布シフトと限られた訓練サンプルが存在する状況下でも、得られる分布的ロバスト最適化モデルの統計的最適性を保証すること。

提案手法

• フレームワークは、訓練分布からのKullback-Leibler発散を最小化する形で、未知のシフトしたテスト分布をモデル化する。その際、シフトに関する事前構造的知識を制約として組み込む。
• 最小分散情報の原則によって定義されるアンビグアティーセット上での最悪ケース期待損失を最小化する分布的ロバスト最適化（DRO）を採用する。
• 一般化境界は大偏差結果を用いて導出され、未知のシフトした分布に対して性能保証が得られる。
• 得られた最適化問題は、凸双対性と加速勾配法を用いて効率的に解ける。
• 本手法は2つの異なる設定に適用される：(1) 知られている人種的要因のシフトを伴う系統的なバイアスを含むデータでの分類器の学習、(2) 知られている行動方策制約を伴うマルコフ意思決定過程におけるオフポリシー評価。
• フレームワークは最小分散情報に基づくDRO（MDI-DRO）として実装され、統計的に最適かつ計算的に効率的であることが示された。

実験結果

リサーチクエスチョン

• RQ1 シフトに関する部分的な構造的知識しか入手できない状況で、未知のシフトしたテスト分布をどのようにモデル化できるか？
• RQ2 最小分散情報の原則を用いて、分布シフト下での機械学習モデルに対する明示的な一般化境界を導出できるか？
• RQ3 提案されたMDI-DROフレームワークは、バイアスデータとオフポリシー評価タスクにおけるロバスト性と一般化性能の面で、既存手法と比較してどのように優れているか？
• RQ4 分布シフトと限られた訓練サンプルが存在する状況下で、得られるDROモデルの統計的最適性はどのように保証されるか？
• RQ5 MDI-DROフレームワークは実用的に効率的に解けるのか。また、その計算的保証は何か？

主な発見

• MDI-DROフレームワークは、最小分散情報と分布的ロバスト最適化を組み合わせることで、未知の分布シフト下でも証明可能なロバストな一般化を達成し、未知の分布シフト下での性能保証を実現する。
• 本手法は大偏差理論に基づく明示的な一般化境界を提供し、事前構造的制約を満たす任意の未知のシフトした分布に対して有効である。
• m=6の合成的バイアス分類タスクにおいて、1000回の独立実験を通じてMDI-DROは、既存手法を上回るテスト精度とロバスト性を示した。
• 在庫管理モデルにおけるオフポリシー評価では、MDI-DROはベースライン手法に比べて優れた性能を発揮し、特に分布シフト下での長期平均コストの推定において顕著であった。
• 本フレームワークにおける最適化問題は、凸双対性と加速勾配法を用いて効率的に解けるため、実用的導入が可能である。
• DRO予測子は、Bergeの最大定理と目的関数の連続性を用いて、連続的かつ安定した性質を有することが証明された。