[論文レビュー] Distributed Multi-task APA over Adaptive Networks Based on Partial Diffusion

Vinay Chakravarthi Gogineni, Mrityunjoy Chakraborty|arXiv (Cornell University)|Sep 30, 2015

Advanced Adaptive Filtering Techniques参考文献 18被引用数 4

ひとこと要約

本稿では、隣接ノード間での中間推定ベクトルの部分的共有を可能にすることで、適応ネットワークにおける通信負荷を低減する分散型マルチタスクアフィンプロジェクションアルゴリズム（マルチタスク Pd-APA）を提案する。適応中に一部のエントリのみを交換することで、通信量の削減と推定性能の維持のトレードオフを達成し、理論的分析とシミュレーションにより、完全拡散手法よりも優れた定常状態の精度が得られることを確認した。

ABSTRACT

Distributed multi-task adaptive strategies are useful to estimate multiple parameter vectors simultaneously in a collaborative manner. The existed distributed multi-task strategies use diffusion mode of cooperation in which during adaptation step each node gets the cooperation from it neighborhood nodes but not in the same cluster and during combining step each node combines the intermediate estimates of it neighboring nodes that belong to the same cluster. For this the nodes need to transmit the intermediate estimates to its neighborhood. In this paper we propose an extension to the multi-task diffusion affine projection algorithm by allowing partial sharing of the entries of the intermediate estimates among the neighbors. The proposed algorithm is termed as multi-task Partial diffusion Affine projection Algorithm (multi-task Pd-APA) which can provide the trade-off between the communication performance and the estimation performance. The performance analysis of the proposed multi-task partial diffusion APA algorithm is studied in mean and mean square sense. Simulations were conducted to verify the analytical results.

研究の動機と目的

• 既存の分散型マルチタスク拡散戦略の高い通信コストを解決すること。
• 分散型マルチタスク推定において、顕著な性能低下を伴わずにノード間通信量を削減すること。
• 隣接ノード間で中間推定エントリの一部のみを共有する部分拡散戦略を開発すること。
• 提案されたマルチタスク部分拡散 APA の平均および平均二乗性能を分析すること。
• シミュレーションを通じて、通信負荷と推定精度のトレードオフを検証すること。

提案手法

• アルゴリズムは、各ノードが適応中に中間推定ベクトルの L 個中 M 個のエントリのみを隣接ノードと共有することにより、部分的拡散を実現する。
• 正則化重みと結合係数に基づく選択的共有メカニズムを導入することで、マルチタスク拡散 APA を拡張する。
• 誤差ダイナミクスをモデル化するために、時変行列 F と α₁(n)、α₂(n)、および Γ(n) 項を含む再帰式を採用する。
• 状態空間再帰と定常状態誤差式を用いて、平均および平均二乗偏差（MSD）の性能を分析する。
• 結合係数はメトロポリス則に従い、クラスタ接続性に基づいて非対称的に正則化が適用される。
• 9ノードのネットワーク（3クラスタ）上に実装され、投影順序 M=8 で、タップはゼロ初期化されている。

実験結果

リサーチクエスチョン

• RQ1 中間推定の部分的共有は、マルチタスク適応ネットワークにおける推定性能にどのように影響するか？
• RQ2 分散型マルチタスク学習における通信負荷と推定精度のトレードオフは何か？
• RQ3 収束速度および定常状態 MSD の観点から、提案された部分拡散戦略は完全拡散 APA よりもどのように異なるか？
• RQ4 選択的係数交換は、相関のある入力条件下での安定性および平均二乗偏差にどのような影響を及えるか？
• RQ5 提案手法は、通信オーバーヘッドを削減しながらも、相関のある入力信号下で頑健性を維持できるか？

主な発見

• 提案されたマルチタスク Pd-APA は、通信負荷と推定性能の間のトレードオフを達成しており、完全拡散 APA よりもノード間通信量が削減されている。
• 部分拡散戦略の定常状態 MSD は、完全拡散 APA よりも良好であるが、収束速度は遅い。
• 理論的分析により、M < L の場合、システム行列 F_M の固有値が F_L よりも小さいことが示され、誤差の増幅が抑制されることを示している。
• 50回のモンテカルロ実験によるシミュレーションにより、部分拡散が通信量削減と同時に定常状態性能の向上を実現することが確認された。
• 相関のある入力条件下でも、アルゴリズムは安定しており、相関のある回帰子統計下での性能が実証された。
• 正則化パラメータ ρ_kl は、非クラスタノードに対して |N_k \ C(k)|^{-1} として設定され、非対称な重みが性能向上に寄与している。