[論文レビュー] Decentralized RLS with Data-Adaptive Censoring for Regressions over Large-Scale Networks

Zifeng Wang, Zheng Yu+3 more|arXiv (Cornell University)|Dec 25, 2016

Advanced Adaptive Filtering Techniques参考文献 22被引用数 4

ひとこと要約

本稿では、大規模ネットワークにおける分散型再帰的最小二乗（D-RLS）アルゴリズムの計算および通信のオーバーヘッドを低減するために、3つのデータ適応的キャンセリング戦略を提案する。低インノベーション観測値を破棄し、選択的に推定値を送信することで、得られるCD-RLSアルゴリズムは、推定精度を維持したまま、リソース使用量を著しく削減した上で最適解への収束を達成する。

ABSTRACT

The deluge of networked data motivates the development of algorithms for computation- and communication-efficient information processing. In this context, three data-adaptive censoring strategies are introduced to considerably reduce the computation and communication overhead of decentralized recursive least-squares (D-RLS) solvers. The first relies on alternating minimization and the stochastic Newton iteration to minimize a network-wide cost, which discards observations with small innovations. In the resultant algorithm, each node performs local data-adaptive censoring to reduce computations, while exchanging its local estimate with neighbors so as to consent on a network-wide solution. The communication cost is further reduced by the second strategy, which prevents a node from transmitting its local estimate to neighbors when the innovation it induces to incoming data is minimal. In the third strategy, not only transmitting, but also receiving estimates from neighbors is prohibited when data-adaptive censoring is in effect. For all strategies, a simple criterion is provided for selecting the threshold of innovation to reach a prescribed average data reduction. The novel censoring-based (C)D-RLS algorithms are proved convergent to the optimal argument in the mean-square deviation sense. Numerical experiments validate the effectiveness of the proposed algorithms in reducing computation and communication overhead.

研究の動機と目的

• 大規模ネットワークにおける分散型RLSの高い計算および通信コストに対処すること。
• インノベーションの大きさに基づくデータ適応的キャンセリングを活用して、冗長なデータ処理および送信を削減すること。
• フルプレシジョンD-RLSと同等の推定精度を維持しながら、リソース使用量を最小限に抑えること。
• 所定の平均データ削減率を達成するためのしきい値選択基準を確立すること。
• 提案されたキャンセリングベースのアルゴリズムの平均ルート偏差の意味で収束を証明すること。

提案手法

• ネットワーク全体のコストを最小化するために、交互最小化と確率的ニュートン反復を用いた最初のキャンセリング戦略を導入し、インノベーションが小さい観測値を破棄する。
• 各ノードで局所的なデータ適応的キャンセリングを実施して計算を削減し、その後隣接ノードとの間で局所的推定値を交換して一貫性を達成する。
• 局所的推定値のインノベーションが入力データに対して最小限である場合、その送信を抑制する2番目の戦略を提案する。
• キャンセリング中に、隣接ノードの推定値の受信もブロックする3番目の戦略を導入し、さらに通信を削減する。
• 目標とする平均データ削減率を達成するためのシンプルなしきい値選択ルールを、インノベーションの大きさに基づいて導出する。
• 行列摂動および確率的近似のツールを用いて収束を分析し、最適解への平均ルート偏差収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 データ適応的キャンセリングにより、推定精度を損なわず、分散型RLSにおける計算および通信コストを著しく低減できるか？
• RQ2 インノベーションに基づくキャンセリングは、完全に分散型ネットワーク環境で効果的に適用可能か？
• RQ3 所定の平均データ削減率を保証するしきい値基準は何か？
• RQ4 提案された3つのキャンセリング戦略は、通信および計算の節約において、どのように比較されるか？
• RQ5 キャンセリングベースのCD-RLSアルゴリズムの収束は、平均ルート偏差の意味で確かに保証されるか？

主な発見

• 提案されたCD-RLSアルゴリズムは、標準的なD-RLSと比較して、計算および通信のオーバーヘッドの両方で顕著な低減を達成する。
• しきい値選択基準により、論文で指定された通り、平均データ削減率を正確に制御可能である。
• 3つのキャンセリング戦略すべてが、平均ルート偏差の意味で最適解への収束が保証されている。
• 誤差の収束速度は $ O(1/t) + O(rac{ ext{ln}(t)}{t}) $ のオーダーにあり、漸近的収束を示している。
• 数値実験により、アルゴリズムのリソース使用量の低減効果と、高い推定精度の維持が検証された。
• キャンセリング中に送信と受信の両方をブロックする3番目の戦略が、最も高い通信節約効果を示した。