[論文レビュー] Generalization Error Bounds Via Rényi-, $f$-Divergences and Maximal Leakage

Amedeo Roberto Esposito, Michael Gastpar+1 more|arXiv (Cornell University)|Dec 1, 2019

Distributed Sensor Networks and Detection Algorithms参考文献 30被引用数 15

ひとこと要約

本稿は、Rényi発散、f-発散、および最大漏れ量を活用することで、従属する確率変数の一般化誤差バウンドを導出する。これは、Hoeffding や McDiarmid の古典的不等式を、適応的かつ従属的な設定に拡張するものである。主な貢献は、最大漏れ量を用いたロバストなバウンドであり、適応的データ解析において良好に合成可能で、非 i.i.d. の状況にも一般化可能である。

ABSTRACT

In this work, the probability of an event under some joint distribution is bounded by measuring it with the product of the marginals instead (which is typically easier to analyze) together with a measure of the dependence between the two random variables. These results find applications in adaptive data analysis, where multiple dependencies are introduced and in learning theory, where they can be employed to bound the generalization error of a learning algorithm. Bounds are given in terms of Sibson's Mutual Information, $α-$Divergences, Hellinger Divergences, and $f-$Divergences. A case of particular interest is the Maximal Leakage (or Sibson's Mutual Information of order infinity), since this measure is robust to post-processing and composes adaptively. The corresponding bound can be seen as a generalization of classical bounds, such as Hoeffding's and McDiarmid's inequalities, to the case of dependent random variables.

研究の動機と目的

• 逐次的な照会によって生じる照会間の依存性がある適応的データ解析における一般化誤差バウンドを提供すること。
• 依存性を発散測度で測定することで、Hoeffding や McDiarmid のような古典的集中不等式を、従属する確率変数の設定に拡張すること。
• 後処理に対してロバストで、適応的に合成可能なバウンドを開発すること。これは、適応的データ解析におけるメカニズムの解析に不可欠である。
• Luxemburg と Amemiya のノルムを用いて、Rényi 発散、f-発散、ハリントン発散のさまざまな発散ベースのバウンドを、統一的な理論的枠組みで統合すること。
• 情報理論的依存度測度と学習アルゴリズムにおける一般化誤差との間の関係を確立すること。

提案手法

• joint 分布 $\mathcal{P}$ と周辺分布の積 $\mathcal{Q}$ を用いて、$\mathcal{P}(E) \leq f(\mathcal{Q}(E)) \cdot g(d\mathcal{P}/d\mathcal{Q})$ の形の一般バウンドを導出する。
• Luxemburg と Amemiya のノルムを用いて、$f$-発散と Rényi 発散に基づくバウンドを導出し、依存性の柔軟な定量化を可能にする。
• Sibson の $\alpha$ 階の相互情報量を依存度測度として用い、特に $\alpha \to \infty$ の極限（最大漏れ量に対応）に注目する。
• 凸共役法と双対性を用いて、ハリントン発散と $f$-相互情報量を含むバウンドを導出する。
• 最大漏れ量に基づくバウンドが独立性下で古典的不等式に還元されることを示し、その一般性を検証する。
• 最大漏れ量が後処理に対してロバストで、適応的に合成可能であることを確立する。これは、適応的データ解析に最適である。

実験結果

リサーチクエスチョン

• RQ1 確率変数が i.i.d. でない場合、すなわち従属している場合に、一般化誤差をどのようにバウンドできるか。
• RQ2 Rényi 発散と $f$-発散を用いることで、学習アルゴリズムにおける統計的依存性を考慮した、より鋭い一般化誤差バウンドを導出可能か。
• RQ3 適応的データ解析において有用であるためには、依存度測度がどのような性質を満たすべきか。最大漏れ量はこれらの基準を満たすか。
• RQ4 提案された枠組みは、Hoeffding や McDiarmid のような古典的集中不等式を、従属する設定にどのように一般化できるか。
• RQ5 最大漏れ量に基づくバウンドは、計算が容易に可能であり、ノイズを追加した実用的学習メカニズムへの応用が可能か。

主な発見

• Rényi 発散の $\alpha > 1$ 階数を用いた一般バウンドを導出し、$\mathcal{P}_{XY}(E) \leq \mathcal{P}_X\mathcal{P}_Y(E)^{\frac{\alpha-1}{\alpha}} \cdot \exp\left(\frac{\alpha-1}{\alpha} D_\alpha(\mathcal{P}_{XY} \| \mathcal{P}_X\mathcal{P}_Y)\right)$ を示した。
• 最大漏れ量（$\alpha \to \infty$）では、バウンドが $\mathcal{P}_{XY}(E) \leq \mathcal{P}_X\mathcal{P}_Y(E) \cdot \exp\left(\mathcal{L}(X \to Y)\right)$ に簡略化され、ロバストで適応的に合成可能である。
• ハリントン発散の $\alpha$ 階数に対するバウンドは、$\phi$-関数 $\phi_\alpha(t) = \frac{t^\alpha - 1}{\alpha - 1}$ の凸共役を用いて導出され、発散の指数的依存性が類似する形で得られた。
• 最大漏れ量 $\mathcal{L}(X \to Y)$ は $\mathcal{L}(X \to Y) = \log \sum_y \max_{x: P(x)>0} P_{Y|X}(y|x)$ として計算可能であり、ノイズを含む学習アルゴリズムへの実用的応用を可能にする。
• $\mathcal{P}_{XY} = \mathcal{P}_X\mathcal{P}_Y$ の場合、バウンドは古典的集中不等式に還元され、一貫性が検証された。
• この枠組みは、絶対連続性を満たす任意の確率測度のペアに適用可能であり、joint と product の測度に限定されない。