[论文解读] Concentration inequalities for Markov chains by Marton couplings

Daniel Paulin|arXiv (Cornell University)|Dec 10, 2012

Markov Chains and Monte Carlo Methods被引用 15

一句话总结

本文利用馬可夫鏈的馬爾頓耦合與譜技術，建立 concentration 不等式，顯示偏差界與混合時間及譜間隔成比例。透過引入偽譜間隔，將麥克迪阿米德不等式推廣至非可逆鏈，並為馬可夫鏈的經驗平均值提供變異數與伯恩斯坦型不等式。

ABSTRACT

We prove a version of McDiarmid's bounded differences inequality for Markov chains, with constants proportional to the mixing time of the chain. We also show variance bounds and Bernstein-type inequalities for empirical averages of Markov chains. In the case of non-reversible chains, we introduce a new quantity called the spectral gap, and show that it plays a similar role for non-reversible chains as the spectral gap plays for reversible chains. Our techniques for proving these results are based on a coupling construction of Katalin Marton, and on spectral techniques due to Pascal Lezaud. The pseudo spectral gap generalises the multiplicative reversiblication approach of Jim Fill.

研究动机与目标

• 將麥克迪阿米德的有界差異不等式推廣至與混合時間成比例常數的馬可夫鏈。
• 利用耦合與譜方法，為馬可夫鏈的經驗平均值推導變異數與伯恩斯坦型不等式。
• 引入並分析非可逆馬可夫鏈的一種新譜量——偽譜間隔。
• 透過耦合與譜方法，將可逆鏈中譜間隔的角色推廣至非可逆鏈。
• 透過利用馬爾頓耦合構造與勒扎德譜技術，統一並擴展現有的 concentration 結果。

提出的方法

• 利用馬爾頓耦合構造兩個馬可夫鏈之間的耦合，以比較其路徑並控制偏差。
• 應用 Pascal Lezaud 的譜技術，以界定轉移核的特徵值，特別著重於譜間隔。
• 引入偽譜間隔作為非可逆鏈標準譜間隔的推廣，以實現 concentration 界。
• 透過結合耦合距離與譜衰減速率，建立經驗平均值偏差的界。
• 將混合時間作為 concentration 不等式中的關鍵參數，確保常數與鏈收斂速度成比例。
• 透過偽譜間隔的乘法可逆化方法，將可逆鏈的結果推廣至非可逆鏈。

实验结果

研究问题

• RQ1 如何將麥克迪阿米德的有界差異不等式適應於與混合時間明確相關的馬可夫鏈？
• RQ2 哪種譜量可推廣非可逆馬可夫鏈中譜間隔的角色？
• RQ3 能否利用耦合與譜方法，為馬可夫鏈的經驗平均值推導變異數與伯恩斯坦型不等式？
• RQ4 偽譜間隔與非可逆鏈的混合時間及 concentration 行為有何關係？
• RQ5 馬爾頓耦合技術與譜分析的結合，能在多大程度上產生非漸近的 concentration 界？

主要发现

• 本文建立了一種類似麥克迪阿米德的不等式，適用於馬可夫鏈，其常數與鏈的混合時間成比例。
• 利用譜技術與馬爾頓耦合，推導出馬可夫鏈經驗平均值的變異數界。
• 證明了經驗平均值的伯恩斯坦型不等式，結合了變異數與馬可夫依賴下的有界差異。
• 偽譜間隔被引入為控制非可逆鏈 concentration 的關鍵參數，推廣了標準譜間隔的角色。
• 結果顯示，非可逆鏈的譜間隔在耦合與譜框架下，發揮與可逆鏈中類似的角色。
• 透過連結馬爾頓耦合方法與勒扎德譜界、費爾的乘法可逆化技術，統一並擴展了先前的方法。