[論文レビュー] Wide Consensus for Parallelized Inference

Pedro C. Álvarez-Esteban, Eustasio del Barrio+2 more|arXiv (Cornell University)|Nov 17, 2015

Statistical Methods and Inference参考文献 35被引用数 7

ひとこと要約

本稿では、モデルの非同一性がある状況下でも、信頼性の高い並列または分散推定を可能にする、Wasserstein空間におけるトリムドバーリンターを用いた頑健なコンSENSUS集約手法を提案する。トリムドバーリンターの存在、一貫性、一意性を確立し、位置スケール族に対して反復的アルゴリズムを提供することで、計算上の実行可能性と外れ値に対する頑健性を確保する。

ABSTRACT

We develop a general theory to address a consensus-based combination of estimations in a parallelized or distributed estimation setting. Taking into account the possibility of very discrepant estimations, instead of a full consensus we consider a "wide consensus" procedure. The approach is based on the consideration of trimmed barycenters in the Wasserstein space of probability distributions on R^d with finite second order moments. We include general existence and consistency results as well as characterizations of barycenters of probabilities that belong to (non necessarily elliptical) location and scatter familes. On these families, the effective computation of barycenters and distances can be addressed through a consistent iterative algorithm. Since, once a shape has been chosen, these computations just depend on the locations and scatters, the theory can be applied to cover with great generality a wide consensus approach for location and scatter estimation or for obtaining confidence regions.

研究の動機と目的

• データソースに汚染や非同一性が存在する分散または並列統計的推定において、異なる確率測度推定値を統合する課題に対処すること。
• 単位間の同一性を仮定しないで、極端または特異な推定値の影響を軽減する頑健な集約フレームワークを開発すること。
• 広範な統計的問題に適用可能な、Wasserstein空間におけるトリムドバーリンターを用いたコンセンサスベース推定の一般的理論を提供すること。
• 位置スケール族におけるトリムドバーリンターの計算を可能にする反復的アルゴリズムを導出することで、計算上の実行可能性を保証すること。

提案手法

• 本手法は、Wasserstein空間におけるトリムドバーリンターを用い、最も乖離している推定値を低減または除外することで、コンセンサス測度を計算する。
• 同一の割合で最も極端な分布を事前に除外する「中立的トリミング」を導入する。
• 最適輸送写像とWasserstein空間におけるフレシェ平均を活用して、頑健なコンセンサス推定器を定義する。
• 位置スケール族に対しては、行列幾何平均を用いてバーリンターの閉形式の特徴付けを導出し、計算を効率化する。
• 一貫したバーリンター計算に基づく反復的アルゴリズムを提案し、弱い正則性条件のもとで収束を保証する。
• ゲルブリッヒの不等式と行列不等式を用いて、理論的保証を確立し、トリムドバーリンターの存在、一意性、一貫性を証明する。

実験結果

リサーチクエスチョン

• RQ1 汚染や非同一性のため、一部の推定値が著しく乖離している場合に、確率測度の推定値をどのようにして頑健に集約できるか。
• RQ2 一般の確率分布に対して、Wasserstein空間におけるトリムドバーリンターの存在と一意性を保証する条件は何か。
• RQ3 特に楕円型および非楕円型分布の文脈において、位置スケール族のトリムドバーリンターをどのようにして効率的に計算できるか。
• RQ4 分散推定において、モデルの誤指定や外れ値が存在する状況下でも、本手法が一貫性と頑健性を保つ仕組みは何か。
• RQ5 汚染済みまたは乖離した推定値が存在する状況下で、トリムドバーリンターと真の分布との理論的関係は何か。

主な発見

• 汚染や非同一性が著しい場合でも、弱い条件下でWasserstein空間におけるトリムドバーリンターは存在し、一意である。
• 位置スケール族に属する分布の集合のバーリンター自体も、同じ族に属するため、モデルの整合性が保たれる。
• 正規分布の場合、バーリンターの共分散行列は、個々の共分散行列の幾何平均を含む行列積分方程式を満たす。
• 位置スケール族におけるトリムドバーリンターの計算を可能にする反復的アルゴリズムは、一貫性があり、計算上実行可能であり、高次元設定への応用が可能である。
• 事前に汚染構造を知らなくても、中立的トリミングによって外れ値を効果的に除外することで、本手法は頑健性を達成する。
• ゲルブリッヒの不等式に基づく理論的バインディングにより、トリムド測度下での期待Wasserstein距離を最小化するバーリンターが保証され、最適性が保証される。