[論文レビュー] Learning from weakly dependent data under Dobrushin's condition

Yuval Dagan, Constantinos Daskalakis+2 more|arXiv (Cornell University)|Jun 21, 2019

Machine Learning and Algorithms被引用数 11

ひとこと要約

本稿は、ドブロシニの条件を満たす弱い依存性を持つデータ上で学習された仮説クラスの一般化および学習の境界を確立する。標準的な複雑さの指標、例えばラデマッハ複雑さやガウス複雑さが依然として有効であることが示され、i.i.d.設定と比較して境界が定数因子しか劣化しない。この結果、空間的またはネットワーク構造を持つデータにおいても、複雑な依存性を有する状況でも信頼性のある学習が可能になる。

ABSTRACT

Statistical learning theory has largely focused on learning and generalization given independent and identically distributed (i.i.d.) samples. Motivated by applications involving time-series data, there has been a growing literature on learning and generalization in settings where data is sampled from an ergodic process. This work has also developed complexity measures, which appropriately extend the notion of Rademacher complexity to bound the generalization error and learning rates of hypothesis classes in this setting. Rather than time-series data, our work is motivated by settings where data is sampled on a network or a spatial domain, and thus do not fit well within the framework of prior work. We provide learning and generalization bounds for data that are complexly dependent, yet their distribution satisfies the standard Dobrushin's condition. Indeed, we show that the standard complexity measures of Gaussian and Rademacher complexities and VC dimension are sufficient measures of complexity for the purposes of bounding the generalization error and learning rates of hypothesis classes in our setting. Moreover, our generalization bounds only degrade by constant factors compared to their i.i.d. analogs, and our learnability bounds degrade by log factors in the size of the training set.

研究の動機と目的

• 空間的またはネットワーク構造を持つドメインにおける非i.i.i.d.データの統計的学習理論におけるギャップを埋める。
• データの依存性がドブロシニの条件を満たす場合に、標準的な複雑さの指標が一般化誤差を抑えられるかどうかを調査する。
• i.i.i.d.設定と比較して定数または対数因子しか劣化しない学習および一般化境界を提供する。
• 時間系列やエルゴード過程に限らない、空間的およびネットワークデータに複雑な依存性を持つ学習理論を拡張する。
• この新しい設定において、VC次元およびラデマッハ／ガウス複雑さが十分な複雑さの指標であることを示す。

提案手法

• ドブロシニの条件を用いて、確率的フレームワークにおける弱い依存性の構造を形式化する。
• ドブロシニの条件の下で弱い依存性を持つ設定にラデマッハおよびガウス複雑さの指標を適応させる。
• 弱い依存性を持つ確率変数に特化した濃縮不等式を用いて、一般化誤差の境界を導出する。
• 弱い依存性の下で、複雑さの指標と経験的リスク最小化誤差を関連付けることで、学習速度を確立する。
• カップリングの議論と混合型の境界を用いて、経験的平均と期待値の乖離を制御する。
• 得られた境界が、i.i.i.d.の場合と同様の複雑さの指標に従い、定数または対数因子のペナルティしか加算されないことを示す。

実験結果

リサーチクエスチョン

• RQ1 ドブロシニの条件の下で、ラデマッハ複雑さやガウス複雑さといった標準的な複雑さの指標を用いて一般化誤差を抑えられるか？
• RQ2 弱い依存性を持つデータの一般化および学習境界は、i.i.i.d.設定との比較でどの程度劣化するか？
• RQ3 データの依存性が複雑であるがドブロシニの条件を満たす場合、既存の学習理論ツールはどの程度有効に保たれるか？
• RQ4 弱い依存性の下で、トレーニングデータセットのサイズが学習速度に与える影響は何か？
• RQ5 空間的またはネットワーク構造を持つデータで、弱い依存性がある状況においてもVC次元を複雑さの指標として使用できるか？

主な発見

• ドブロシニの条件の下で、一般化誤差の境界はi.i.i.d.の場合と比較して定数因子しか劣化しない。
• 弱い依存性の下での仮説クラスの学習速度は、i.i.i.d.設定と比較してトレーニングデータサイズに対して対数因子の劣化を示す。
• ラデマッハ複雑さおよびガウス複雑さは、この弱い依存性の設定においても有効かつ効果的な複雑さの指標として残る。
• VC次元は、ドブロシニの条件を満たす設定においても、学習可能性を特徴付けるのに十分である。これは、i.i.i.d.データに限らない適用範囲の拡張を示している。
• このフレームワークは、従来の時間系列やエルゴード的仮定が成り立たないネットワークや空間ドメインのデータに適用可能である。
• 理論的結果は、ドブロシニの条件で定量化される弱い依存性が、標準的な学習理論ツールの有効性を根本的に損なわないことを示している。