[論文レビュー] Generalization Bounds via Convex Analysis

Gábor Lugosi, Gergely Neu|arXiv (Cornell University)|Feb 10, 2022

Sparse and Compressive Sensing Techniques被引用数 6

ひとこと要約

この論文は、シャノンの相互情報量の代わりに任意の強い凸性を持つ依存度測度を用いることで、情報理論的一般化バウンドを一般化する。凸解析を用いてポテンシャル関数を追跡し、p-ノルム距離と Wasserstein-2 距離に基づく新しいバウンドを確立する。これは、重尾型の損失関数や滑らかな損失関数に対しても適用可能であり、適切なノルムで捉えられる一般化されたサブガウス型尾部条件を満たす。

ABSTRACT

Since the celebrated works of Russo and Zou (2016,2019) and Xu and Raginsky (2017), it has been well known that the generalization error of supervised learning algorithms can be bounded in terms of the mutual information between their input and the output, given that the loss of any fixed hypothesis has a subgaussian tail. In this work, we generalize this result beyond the standard choice of Shannon's mutual information to measure the dependence between the input and the output. Our main result shows that it is indeed possible to replace the mutual information by any strongly convex function of the joint input-output distribution, with the subgaussianity condition on the losses replaced by a bound on an appropriately chosen norm capturing the geometry of the dependence measure. This allows us to derive a range of generalization bounds that are either entirely new or strengthen previously known ones. Examples include bounds stated in terms of $p$-norm divergences and the Wasserstein-2 distance, which are respectively applicable for heavy-tailed loss distributions and highly smooth loss functions. Our analysis is entirely based on elementary tools from convex analysis by tracking the growth of a potential function associated with the dependence measure and the loss function.

研究の動機と目的

• 既存の情報理論的一般化バウンドをシャノン相互情報量を超えて拡張すること。
• 教師あり学習における依存度測度を分析するための統一的枠組みを、凸解析を用いて構築すること。
• サブガウス型損失仮定を、選択した依存度測度に適合したノルムに基づく条件に置き換えること。
• 重尾型および滑らかなケースを含む多様な損失分布に対して、新しいまたは改善された一般化バウンドを導出すること。
• 凸性制約下でのポテンシャル関数の成長を用いた、バウンドを系統的に導出する方法を提供すること。

提案手法

• フレームワークは、入力-出力同時分布と積分布の間の強い凸性を持つ発散測度から導かれるポテンシャル関数を用いる。
• 凸解析の道具を用いて、このポテンシャル関数のデータポイントごとの成長を追跡する。
• サブガウス型尾部仮定の代わりに、選択した依存度測度の幾何構造を反映するノルムに基づく条件を導入する。
• 相互情報量を超えて、任意の強い凸関数としての同時分布の発散測度に適用可能である。
• 複雑な確率論的道具を避けて、基本的な凸解析に依存する。
• 期待損失差を発散の成長とノルム制約に関連付けることで、一般化バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 相互情報量以外の依存度測度を用いて一般化バウンドを導出できるか？
• RQ2 凸解析を用いて、任意の強い凸発散測度に関連するポテンシャル関数の成長をどのように分析できるか？
• RQ3 p-ノルム発散測度または Wasserstein-2 距離を依存度測度として用いる場合、損失関数に必要な尾部条件は何か？
• RQ4 このフレームワークは、重尾型損失分布や非常に滑らかな損失関数に対して、よりタイトなまたは新しいバウンドを導出できるか？
• RQ5 異なる依存度測度に対して、ノルムの幾何構造が一般化誤差バウンドにどのように影響を与えるか？

主な発見

• 論文は、相互情報量に限らず、任意の強い凸依存度測度を用いた一般化バウンドを確立した。
• サブガウス型損失仮定を、選択した発散測度に依存するノルムに基づく条件に置き換え、より広範な適用可能性を実現した。
• p-ノルム発散測度に基づく新しいバウンドが導出され、これは重尾型損失分布に対して有効である。
• Wasserstein-2 距離が、非常に滑らかな損失関数に対してタイトなバウンドをもたらすことが示された。
• フレームワークは、依存度測度の選択と対応する損失尾部条件との間を凸ポテンシャル関数を通じて系統的に結びつけることで、先行研究を統一的かつ強化した。