[論文レビュー] Tighter expected generalization error bounds via Wasserstein distance

Borja Rodríguez-Gálvez, Germán Bassi+2 more|arXiv (Cornell University)|Jan 22, 2021

Adversarial Robustness in Machine Learning参考文献 13被引用数 20

ひとこと要約

本稿では、Wasserstein距離を用いたより緊密な期待一般化誤差バインドを導入し、全データセット、単一記号、およびランダムサブセットのバインドを提供する。これらは従来の相対エントロピーに基づくバインドを上回る。仮説空間の幾何構造をWasserstein距離によって活用することで、非自明なバインドが得られ、幾何的および情報理論的一般化アプローチの溝を埋める。

ABSTRACT

This work presents several expected generalization error bounds based on the Wasserstein distance. More specifically, it introduces full-dataset, single-letter, and random-subset bounds, and their analogues in the randomized subsample setting from Steinke and Zakynthinou [1]. Moreover, when the loss function is bounded and the geometry of the space is ignored by the choice of the metric in the Wasserstein distance, these bounds recover from below (and thus, are tighter than) current bounds based on the relative entropy. In particular, they generate new, non-vacuous bounds based on the relative entropy. Therefore, these results can be seen as a bridge between works that account for the geometry of the hypothesis space and those based on the relative entropy, which is agnostic to such geometry. Furthermore, it is shown how to produce various new bounds based on different information measures (e.g., the lautum information or several $f$-divergences) based on these bounds and how to derive similar bounds with respect to the backward channel using the presented proof techniques.

研究の動機と目的

• 仮説空間の幾何的構造を考慮した、より緊密な期待一般化誤差バインドの開発。
• 相互情報量が発散する場合に自明なバインドとなる可能性がある相対エントロピーに基づくバインドの限界の解消。
• Wasserstein距離を介して情報理論的一般化バインドと幾何的知見を統合すること。
• 既存のランダムサブセットフレームワークを拡張し、Wassersteinに基づく依存関係を組み込んで有限で非自明なバインドを実現すること。

提案手法

• 条件付き分布間のWasserstein距離に基づき、全データセット、単一記号、ランダムサブセットの一般化誤差バインドを提案する。
• Kantorovich-Rubinstein双対性を用いて、期待一般化誤差を仮説分布とその周辺分布の間のWasserstein距離で表現する。
• joint range戦略とf-発散度の変分表現（カイ二乗発散度を含む）を用いてバインドを導出する。
• 標準的およびランダムサブセット設定の両方へフレームワークを適用し、条件付き相互情報量項による制御を可能にする。
• Lautum情報量やf-発散度などの代替情報測度に基づくバインドの導出を可能にする、新規の証明技法を導入する。
• 逆チャネル依存関係を用いることで、同じ理論的枠組みを用いて類似のバインドを導出できることを示す。

実験結果

リサーチクエスチョン

• RQ1 Wasserstein距離に基づくバインドは、従来の相対エントロピーに基づくバインドよりも、より緊密な一般化誤差推定を達成できるか？
• RQ2 仮説空間の幾何構造を明示的にモデル化した場合、Wassersteinベースのバインドはどのように性能を発揮するか？
• RQ3 Wasserstein距離による幾何的構造の組み込みによって、相対エントロピーフレームワークから非自明な一般化誤差バインドを導出できるか？
• RQ4 ランダムサブセット設定において、Wassersteinベースのバインドと条件付き相互情報量の関係は何か？
• RQ5 提案されたフレームワークは、f-発散度やLautum情報量などの他の情報測度へどのように拡張できるか？

主な発見

• 提案されたWassersteinベースのバインドは、従来の相対エントロピーに基づくバインドよりも緊密であり、幾何構造を無視した場合にはそれらを下回る。
• 損失関数が有界である場合、相対エントロピーのバインドが自明になるような状況においても、非自明な推定値を回復する。
• カイ二乗発散度の変分表現は、joint range戦略によって導出されたものよりも、より緊密かつ包括的なバインドをもたらす。
• 分散が小さく、カイ二乗発散度がおおよそ2.51未満である場合には、式(15)のカイ二乗発散度に基づくバインドが、式(5)のPinskerに基づくバインドよりも緊密である。
• 統一された証明技法を用いることで、Lautum情報量やさまざまなf-発散度といった代替情報測度に基づく新しいバインドの導出が可能になる。
• 条件付き相互情報量項 $ I(W;U| ilde{S}) $ は、連続的設定においても有限であり、無条件の対応項よりも小さいため、頑健性が保証される。