[論文レビュー] McDiarmid-Type Inequalities for Graph-Dependent Variables and Stability Bounds

Rui Ray Zhang, Xingwu Liu+2 more|arXiv (Cornell University)|Sep 5, 2019

Machine Learning and Algorithms被引用数 8

ひとこと要約

本稿では、木構造の複雑さと呼ばれる新しい測度を用いて依存関係の強さを定量化することで、グラフに依存する確率変数のリプシッツ関数に対する、McDiarmid型の濃度不等式を導入する。著者らは、非i.i.d.データからの学習に対して、アルゴリズム依存の安定性バウンドを導出し、多くのグラフ構造—特にm依存列—において、一様安定性のもとで一般化誤差がi.i.d.の場合と同等のレートで収束することを示している。

ABSTRACT

A crucial assumption in most statistical learning theory is that samples are independently and identically distributed (i.i.d.). However, for many real applications, the i.i.d. assumption does not hold. We consider learning problems in which examples are dependent and their dependency relation is characterized by a graph. To establish algorithm-dependent generalization theory for learning with non-i.i.d. data, we first prove novel McDiarmid-type concentration inequalities for Lipschitz functions of graph-dependent random variables. We show that concentration relies on the forest complexity of the graph, which characterizes the strength of the dependency. We demonstrate that for many types of dependent data, the forest complexity is small and thus implies good concentration. Based on our new inequalities we are able to build stability bounds for learning from graph-dependent data.

研究の動機と目的

• 非i.i.d.データの一般化理論におけるギャップを埋めるために、グラフを用いて依存関係をモデル化すること。
• i.i.d.仮定を越えて、グラフに依存する確率変数に特化した濃度不等式を開発すること。
• 依存するデータに対する学習の安定性理論を用いて、アルゴリズム依存の一般化バウンドを確立すること。
• グラフィカルモデルにおける依存関係の強さを測る新しい測度として、木構造の複雑さを導入すること。

提案手法

• 最適な木構造近似を用いて、グラフ内の依存関係の強さを定量化する新しい依存測度「木構造の複雑さ」を定義する。
• 木構造の複雑さをパrameterとする、グラフに依存する変数のリプシッツ関数に対するMcDiarmid型の濃度不等式を証明する。
• この不等式を応用して、グラフに依存するサンプル上で動作する学習アルゴリズムの安定性に基づく一般化バウンドを導出する。
• m依存列において、木構造の複雑さがO(mn)であることを示し、タイトな一般化バウンドを可能にする。
• このバウンドを用いて、m依存データ上で一様に安定な学習アルゴリズムが、i.i.d.の場合と同等の一般化誤差レートを達成することを示す。
• 分数彩色とハイパーグラフ技術を活用して、より広範な依存構造へとフレームワークを拡張する。

実験結果

リサーチクエスチョン

• RQ1 McDiarmid型の濃度不等式は、グラフに依存する確率変数へと拡張可能であり、そのような場合にタイトなバウンドを可能にする依存測度は何か？
• RQ2 木構造の複雑さは、混合係数や彩色数といった既存の依存測度と比較して、依存関係の強さをどのように捉えているか？
• RQ3 新しい濃度不等式を用いて、グラフに依存するデータ上で動作する学習アルゴリズムの安定性に基づく一般化バウンドを導出可能か？
• RQ4 m依存列や空間過程などの一般的な依存構造における木構造の複雑さは何か？
• RQ5 提案されたフレームワークは、一様安定性のもとで、i.i.d.の場合と同等の一般化誤差レートを達成可能か？

主な発見

• 提案されたMcDiarmid型不等式は、木構造の複雑さをパrameterとする、グラフに依存する変数のリプシッツ関数の濃度バウンドを提供する。
• m依存列において、木構造の複雑さはO(mn)で有界であり、タイトな一般化バウンドをもたらす。
• 一様安定性のもとで、m依存データからの学習における一般化誤差は、O(√(ln(1/δ)/n)) のレートで収束し、i.i.d.の場合と同等である。
• このフレームワークにより、非i.i.d.データに対する安定性に基づく一般化バウンドが可能となり、i.i.d.仮定を超えたアルゴリズム依存理論が拡張される。
• 木構造の複雑さは、混合係数よりも推定が容易で、解釈性も高く、実用的で扱いやすい依存関係の強さの測度を提供する。
• これらの結果は、空間エコノメトリクスなどの実世界の応用に適用可能であり、例えば近隣の場所に影響を受ける住宅価格のような局所的依存関係がグラフ構造でモデル化される。