[論文レビュー] Dependency-dependent Bounds for Sums of Dependent Random Variables

Jasmin Lampert, Liva Ralaivola+1 more|arXiv (Cornell University)|Nov 4, 2018

Markov Chains and Monte Carlo Methods参考文献 16被引用数 7

ひとこと要約

本稿は、任意の従属する確率変数の集合に対して新たな依存度測度を導入し、独立性や時系列順序を仮定せず、依存の強さに応じて適応する濃度不等式を可能にする。弱い依存性を段階的依存グラフを用いて取り入れることで、古典的な結果（例えばホーフィングの不等式）を改善し、非i.i.d.な設定における任意の依存構造において、より鋭い尾確率制御を実現する。

ABSTRACT

We consider the problem of bounding large deviations for non-i.i.d. random variables that are allowed to have arbitrary dependencies. Previous works typically assumed a specific dependence structure, namely the existence of independent components. Bounds that depend on the degree of dependence between the observations have only been studied in the theory of mixing processes, where variables are time-ordered. Here, we introduce a new way of measuring dependences within an unordered set of variables. We prove concentration inequalities, that apply to any set of random variables, but benefit from the presence of weak dependencies. We also discuss applications and extensions of our results to related problems of machine learning and large deviations.

研究の動機と目的

• 既存の濃度不等式が独立性を仮定するか、時系列の混合プロセスに依存するという限界に対処する。これは順序のない従属系には適用できない。
• 二値の独立性を越えて、確率変数間の依存の強さを捉える依存度測度を構築し、より鋭い不等式を得ることを目的とする。
• 独立成分や時系列構造を必要とせず、任意の確率変数集合における弱い依存性に適応する濃度不等式を提供すること。
• 理論的結果を機械学習や統計物理学の実応用に拡張する。具体的には、イジングモデルやキャスケードプロセスを含む応用例。

提案手法

• 結合分布と周辺分布の積との近似誤差に基づく新たな依存度測度を提案。これはα-分離係数を用いて定量化される。
• 段階的依存グラフの概念を導入。辺は依存強度が閾値γを超える場合にのみ保持され、依存構造のソフトカバーを形成する。
• 段階的依存グラフの彩色数χγ(A)を、濃度を制御する主要パラメータとして定義。独立成分法で用いられる従来の彩色数を一般化する。
• 新しい濃度不等式（定理2）を導出。これはχγ(A)に依存するサブガウス型項と、依存強度（γ）に従って減少する項を組み合わせ、古典的手法より鋭い不等式を実現する。
• 近似定理（定理1）を応用し、依存構造を用いて、標本平均とその期待値との乖離を制限する。
• 具体的なモデル（例：格子系（イジングモデルなど）と独立キャスケードモデル）に対してフレームワークを検証。距離や閾値パラメータに応じて、乖離確率が指数関数的に減少することを示す。

実験結果

リサーチクエスチョン

• RQ1 依存の存在だけでなく、その強さを組み込むことで、従属確率変数の和に対する濃度不等式を改善できるか？
• RQ2 順序のない確率変数集合に対して、結合分布と周辺分布の積との近さを反映する依存度測度をどのように定義できるか？
• RQ3 ソフトカバーと段階的グラフを活用することで、任意の依存構造を持つ非i.i.i.d.設定に既存の濃度不等式を一般化できるか？
• RQ4 依存性が弱い場合に、導出された不等式がホーフィングの不等式や彩色数に基づく不等式をどの程度改善するか？
• RQ5 このフレームワークは、マークフ・ランダムフィールドやキャスケードプロセスといった実世界のモデルに、保証された性能とともに適用可能か？

主な発見

• 本稿は、サブガウス型項とγに関する減少項を組み合わせた新たな濃度不等式（式4）を確立。依存性が弱い場合にホーフィングの不等式より鋭い不等式を実現する。
• 2次元格子上のイジングモデルでは、式67の不等式が、群間距離νに応じて乖離確率が指数関数的に減少することを示し、スペクトルギャップパラメータλによって制御される。
• 独立キャスケードモデルでは、α係数がグラフ距離に従って指数関数的に減少すると仮定すると、式70の不等式が、段階的グラフの彩色数χdに依存する指数的集中を達成する。
• 近似定理（定理1）は、α-分離係数が小さい場合に、確率変数集合の結合分布が周辺分布の積でよく近似されることを証明し、不等式の理論的基盤を提供する。
• 本手法は既存の結果を一般化する。独立な場合にホーフィングの不等式を回復し、依存強度を組み込むことで彩色数に基づく不等式を改善する。
• 空間的または構造的分離を活用することで、依存性が弱く非マルコフ的であるような格子モデルやキャスケードプロセスの設定において、より鋭い濃度を実現可能である。