[論文レビュー] Data-Distributed Weighted Majority and Online Mirror Descent

Hua Ouyang, Alexander Gray|arXiv (Cornell University)|May 11, 2011

Advanced Bandit Algorithms Research参考文献 10被引用数 3

ひとこと要約

本稿では、N 個のエージェントが局所的なデータから共同で学習できるようにするデータ分散型オンライン学習フレームワークを提案する。重み付き多数派とオンラインミラー降下を分散環境に統合することで、理論的および実験的に、単一エージェント学習と比較して一般化誤差を低く抑え、N 倍の高速化を達成する。

ABSTRACT

In this paper, we focus on the question of the extent to which online learning can benefit from distributed computing. We focus on the setting in which $N$ agents online-learn cooperatively, where each agent only has access to its own data. We propose a generic data-distributed online learning meta-algorithm. We then introduce the Distributed Weighted Majority and Distributed Online Mirror Descent algorithms, as special cases. We show, using both theoretical analysis and experiments, that compared to a single agent: given the same computation time, these distributed algorithms achieve smaller generalization errors; and given the same generalization errors, they can be $N$ times faster.

研究の動機と目的

• オンライン学習が、各エージェントが局所的なデータしか持たない分散環境で、効果的に並列化可能かどうかを調査すること。
• さまざまな学習手法と通信戦略をサポートする、データ分散型オンライン学習の汎用的メタアルゴリズムを開発すること。
• 理論的および実験的に、分散型オンライン学習が集中型オンライン学習よりも優れた一般化性能またはより速い収束を達成できることを示すこと。
• 現実的なネットワーク制約下での分散型ミラー降下と分散型重み付き多数派の、より緊密なレグレットバウンドを確立すること。
• 実用的導入のための、完全な通信グラフや同期更新といった仮定を排除する可能性を検討すること。

提案手法

• 各エージェントが局所的予測、局所的パラメータ更新、および隣接エージェントとの重み付き平均による通信を実行する汎用的メタアルゴリズム（DDOL）を導入。
• 共有エキスパートを用いたエキスパートアドバイスと幾何平均を活用し、特別なケースとして分散型重み付き多数派（DWM）を導出。
• オンラインミラー降下（OMD）の原則を応用し、凸最適化のための分散型オンライン勾配降下（DOGD）と分散型オンライン指数勾配（DOEG）を設計。
• エージェント間でパラメータを重み付き平均で共有することで知識を伝搬し、接続されたネットワークトポロジー下で収束保証を実現。
• DOGDにはL2正則化ヒンジ損失、DOEGにはL1制約付きパラメータ空間を採用し、安定性とスパarsityを確保。
• DOEGにおける非滑らかなサブ勾配更新を扱うために、符号を保存するパラメータ分解（w = w⁺ - w⁻）を導入。EG±にインspired。

実験結果

リサーチクエスチョン

• RQ1 オンライン学習が、各エージェントが自身のデータしかアクセスできない分散システムで、意味的に並列化可能か？
• RQ2 N 個のエージェントのネットワークが、N 倍のデータを持つ単一エージェントと同等の一般化性能を達成できる範囲はどの程度か？
• RQ3 集中型オンライン学習と比較して、分散型オンライン学習におけるレグレットと誤差率の理論的バウンドはどのように確立できるか？
• RQ4 通信トポロジーと平均化戦略の選択が、分散型オンライン学習の収束と一般化にどのように影響するか？
• RQ5 分散型オンラインミラー降下が、エージェント数に対して非線形に増加する社会的レグレットバウンドを達成できるか？

主な発見

• 分散型重み付き多数派（DWM）アルゴリズムは、単一エージェントの重み付き多数派アルゴリズムと比較して、一般化誤差バウンドが1/N低く抑えられ、同じ誤差レベルでN倍の高速化を実現。
• 分散型オンラインミラー降下（DOMD）において、社会的レグレット（個々のレグレットの合計）は、単一エージェントのものと比較して最大で√N 倍までしか増加しないため、スケーリングに伴う劣化が非線形的であることが示唆される。
• svmguide1 や cod-rna といったデータセットにおける実験結果から、DOGD および DOEG はエージェント数が増加するにつれて誤分類数と平均目的関数値が低下する傾向を示した（一定の点まで）。
• covtype データセットでは、N=8, 16, 32 のエージェントの合計損失が単一エージェントのものよりも低く、N=64 であっても理論的√64 バウンドを著しく下回っており、実際の性能が予測を上回っていることを示唆している。
• cod-rna において N=32 で観察された性能劣化は、データサイズが不足していることが原因であると判明し、covtype のようなより大きなデータセットでの実験で確認された。
• 後続の研究で非同期更新と完全でない通信グラフをサポートしていることから、理想化された仮定を超えた堅牢性が示されている。