[論文レビュー] Distributed Online Linear Regression

Deming Yuan, Alexandre Proutière+1 more|arXiv (Cornell University)|Feb 13, 2019

Advanced Bandit Algorithms Research参考文献 33被引用数 13

ひとこと要約

本稿では、分散データから共同でグローバルな線形予測子を学ぶネットワークにおける分散オンライン線形回帰アルゴリズムを提案する。各ノードは局所的勾配降下法を実行し、近隣ノードと通信することで予測子を一致させ、非有界な意思決定集合では $\mathcal{O}(T^{3/4})$、有界な集合では $\mathcal{O}(√{T})$ のレグレットバウンドを達成する。これは、完全なフィードバックおよびバンディットフィードバックの両方で成立する。

ABSTRACT

We study online linear regression problems in a distributed setting, where the data is spread over a network. In each round, each network node proposes a linear predictor, with the objective of fitting the \emph{network-wide} data. It then updates its predictor for the next round according to the received local feedback and information received from neighboring nodes. The predictions made at a given node are assessed through the notion of regret, defined as the difference between their cumulative network-wide square errors and those of the best off-line network-wide linear predictor. Various scenarios are investigated, depending on the nature of the local feedback (full information or bandit feedback), on the set of available predictors (the decision set), and the way data is generated (by an oblivious or adaptive adversary). We propose simple and natural distributed regression algorithms, involving, at each node and in each round, a local gradient descent step and a communication and averaging step where nodes aim at aligning their predictors to those of their neighbors. We establish regret upper bounds typically in ${\cal O}(T^{3/4})$ when the decision set is unbounded and in ${\cal O}(\sqrt{T})$ in case of bounded decision set.

研究の動機と目的

• 分散データとプライバシー保護が求められるネットワークにおける線形回帰の分散オンライン学習アルゴリズムの設計。
• 累積ネットワーク全体の二乗損失から最適なオフライン損失を差し引いたレグレットを最小化すること。
• 完全な情報とバンディットフィードバックの両方、および無作為的または適応的敵対的環境下でのパフォーマンス分析。
• 通信制限と局所的フィードバックがある分散環境におけるサブ線形レグレットバウンドの確立。

提案手法

• 各ノードは、各ラウンドで自らのデータとフィードバックを用いて局所的勾配降下ステップを実行する。
• ノード同士が近隣と通信し、予測子を平均化することでコンセンサスステップを実行し、ネットワーク全体での予測子の不一致を低減する。
• 学習と一致のバランスを取るために、局所的アップデートと通信ステップを交互に繰り返す。
• レグレット解析は、累積勾配ノルムとノード間の予測子不一致の累積を制限することに依存する。
• 理論的解析では、ノルムと射影に関する不等式を用い、予測誤差を最適予測子からの逸脱と関連付ける。
• 重要な技術的要素として、最適解集合への初期距離を射影に基づくバウンドで制御すること。

実験結果

リサーチクエスチョン

• RQ1 データがネットワークに分散し、局所的フィードバックしか得られない状況で、分散オンライン線形回帰がサブ線形レグレットを達成できるか？
• RQ2 完全な情報とバンディットフィードバックの選択が、分散オンライン回帰におけるレグレット性能にどのように影響するか？
• RQ3 有界な意思決定集合と無限大な意思決定集合の違いが、分散オンライン学習におけるレグレットバウンドに与える影響は何か？
• RQ4 通信とコンセンサスステップが局所的学習とどのように作用し合い、レグレットのグローバル収束を保証するか？

主な発見

• 意思決定集合が非有界の場合、提案アルゴリズムは $\mathcal{O}(T^{3/4})$ のレグレットバウンドを達成する。
• 有界な意思決定集合では、レグレットは $\mathcal{O}(\sqrt{T})$ に比例し、これは集中型設定における既知の最適レートと一致する。
• レグレット解析により、累積勾配ノルムとノード間の予測子不一致が性能バウンドの鍵であることが示された。
• 分散データと限られたフィードバックがある中でも、すべてのノードが集約的にグローバル最適予測子を追跡することを保証する。
• 無作為的および適応的敵対的環境下でも解析が成立し、敵対的データ生成に対して堅牢であることが示された。