[論文レビュー] Quality or Quantity? Error-Informed Selective Online Learning with Gaussian Processes in Multi-Agent Systems: Extended Version

Zewen Yang, Xiaobing Dai+3 more|arXiv (Cornell University)|Jan 10, 2026

Gaussian Processes and Bayesian Inference被引用数 0

ひとこと要約

We introduce distributed error-informed Gaussian processes (EIGP) for selective online learning in multi-agent systems, with greedy and adaptive variants, data-deletion strategies, and theoretical error bounds.

ABSTRACT

Effective cooperation is pivotal in distributed learning for multi-agent systems, where the interplay between the quantity and quality of the machine learning models is crucial. This paper reveals the irrationality of indiscriminate inclusion of all models on agents for joint prediction, highlighting the imperative to prioritize quality over quantity in cooperative learning. Specifically, we present the first selective online learning framework for distributed Gaussian process (GP) regression, namely distributed error-informed GP (EIGP), that enables each agent to assess its neighboring collaborators, using the proposed selection function to choose the higher quality GP models with less prediction errors. Moreover, algorithmic enhancements are embedded within the EIGP, including a greedy algorithm (gEIGP) for accelerating prediction and an adaptive algorithm (aEIGP) for improving prediction accuracy. In addition, approaches for fast prediction and model update are introduced in conjunction with the error-informed quantification term iteration and a data deletion strategy to achieve real-time learning operations. Numerical simulations are performed to demonstrate the effectiveness of the developed methodology, showcasing its superiority over the state-of-the-art distributed GP methods with different benchmarks.

研究の動機と目的

• 協調MAS学習におけるすべての局所GPモデルをむやみに集約することの非合理性を強調し、品質情報に基づく協調を主張する。
• 隣接ノードから高品質なGPモデルを選択的に結合する分散型誤差情報付きGP（EIGP）フレームワークを開発する。
• 予測を加速し精度を向上させるためのgreedy（gEIGP）およびadaptive（aEIGP）アルゴリズムを提供する。
• リアルタイムオンライン学習のためのデータ削除戦略と効率的な更新/予測手法を導入する。
• 誤差境界による協調予測の理論的保証を確立する。

提案手法

• 誤差情報付き予測指標を定義し、予測誤差とカーネルベースの類似性を用いてGPモデルの品質を定量化する。
• 各エージェントが近隣ノードのサブセットを重み付きGP予測で結合する選択的集約規則を定式化する。
• カーネルベースの選択I_i(x)を用いてO(N^2)からO(|I_i(x)|^2)へ複雑さを低減する高速予測形を開発する。
• 予測のために信頼できる単一の近隣を選択するgreedy EIGP（gEIGP）を提案する。
• 近隣選択を信頼度制御機構で許可するadaptive EIGP（aEIGP）を提案する。
• データセットサイズを制限しオンライン更新を可能にするデータ削除（剪定）戦略と、グラム行列再割り当てを含む更新手法を導入する。

実験結果

リサーチクエスチョン

• RQ1 GPベースの協調学習を、予測誤差に基づく近隣モデルの選択的重み付けでどのように改善できるか？
• RQ2 誤差情報ベースの指標と選択的集約は、通信/計算を削減しつつ正確な予測を生み出せるか？
• RQ3 EIGPのgreedyおよびadaptiveバリアントはオンライン環境における予測速度と精度のトレードオフを提供するか？
• RQ4 ストリーミングデータと制限メモリの下でオンラインGPモデルを効率的に更新できるか？
• RQ5 誤差情報付き協調GP予測に対する理論的保証をどのように確立できるか？

主な発見

• EIGPフレームワークは、予測誤差ベースの指標とカーネル類似性を用いて近隣モデルの品質を評価できる。
• greedyおよびadaptiveバリアント（gEIGP、aEIGP）は、品質の高い近隣のみを集約することで計算を削減しつつ、精度を維持または向上させることに成功している。
• データ削除戦略と効率的な更新/予測ルーチンは、メモリ制約下でのリアルタイムオンライン学習を支援する。
• 提案手法は、シミュレーションにおいて最先端の分散GP法と比較して優れた性能を示す（特定の数値は提供されていない）。