[論文レビュー] Learning to Route Efficiently with End-to-End Feedback: The Value of Networked Structure

Ruihao Zhu, Eytan Modiano|arXiv (Cornell University)|Oct 24, 2018

Advanced Bandit Algorithms Research参考文献 31被引用数 3

ひとこと要約

本稿では、エンドツーエンドフィードバックを伴う確率的オンライン最短経路問題に対して、ネットワーク構造を活用してほぼ最適なレグレットを達成する、適応的ルーティングアルゴリズムを提案する。Top-Two Comparison (TTC) 技術を導入することで、大規模ネットワークにおける探索と活用のバランスを効率的に実現し、従来の手法に比べてレグレットと計算効率の両面で優れている。

ABSTRACT

We introduce efficient algorithms which achieve nearly optimal regrets for the problem of stochastic online shortest path routing with end-to-end feedback. The setting is a natural application of the combinatorial stochastic bandits problem, a special case of the linear stochastic bandits problem. We show how the difficulties posed by the large scale action set can be overcome by the networked structure of the action set. Our approach presents a novel connection between bandit learning and shortest path algorithms. Our main contribution is an adaptive exploration algorithm with nearly optimal instance-dependent regret for any directed acyclic network. We then modify it so that nearly optimal worst case regret is achieved simultaneously. Driven by the carefully designed Top-Two Comparison (TTC) technique, the algorithms are efficiently implementable. We further conduct extensive numerical experiments to show that our proposed algorithms not only achieve superior regret performances, but also reduce the runtime drastically.

研究の動機と目的

• 未知の確率的変動を示すリンク遅延とエンドツーエンドフィードバックのみを前提としたオンライン最短経路ルーティングの課題に対処すること。
• 指数的多数の経路を含む大規模ネットワークにおいて、従来のバンディットアルゴリズムが計算的に非現実的であるという問題を克服すること。
• アクション集合のネットワーキング構造を活用して探索の複雑さを低減する、レグレット最適なアルゴリズムの開発。
• 適応的探索を通じて、インスタンス依存およびワーストケースの両方のレグレットをほぼ最適に同時に達成すること。
• 大規模オーバーレイネットワークにおけるリアルタイム展開に適した計算効率の高いアルゴリズムの設計。

提案手法

• 識別可能なネットワークを対象としたECアルゴリズムを導入し、新たなTop-Two Comparison (TTC) 機構を用いて適応的探索を誘導する。
• アクション集合（DAG内の経路）のネットワーキング構造を活用することで、ブルートフォースな経路列挙を回避し、計算コストを低減する。
• 動的トップ候補経路比較を通じて、ほぼ最適なインスタンス依存レグレットを達成するための適応的TTCアルゴリズムを設計する。
• TTCフレームワークを拡張し、MTTCアルゴリズムを提案することで、ワーストケースレグレットについてもほぼ最適な性能を同時に達成する。
• 経路遅延の線形構造（リンク遅延の和）を活用し、バンディットフィードバックを伴う組み合わせ的確率的バンディット問題として問題を定式化する。
• エンドツーエンドフィードバックを根拠に、経路遅延の信頼区間を用いた「不確実性の前向きに楽観的（OFU）」原則を適用する。

実験結果

リサーチクエスチョン

• RQ1 大規模な確率的オンライン最短経路問題において、ネットワーク構造を活用して効率的かつレグレット最適なルーティングアルゴリズムを設計できるか？
• RQ2 個々のリンク遅延の観測が不可能な状況で、エンドツーエンドフィードバックのみを用いて適応的探索をどのように達成できるか？
• RQ3 バンディットフィードバック設定において、ほぼ最適なインスタンス依存レグレットとワーストケースレグレットを同時に達成できるか？
• RQ4 指数的多数の経路を含むネットワークにおいて、最適レグレットを達成する際の計算コストはどの程度か？
• RQ5 TTC技術は、標準的なUCBや経路選択における全探索と比較して、レグレットとランタイムの両面でどのように改善をもたらすか？

主な発見

• 提案されたTTCベースのアルゴリズムは、任意の有向無閉路ネットワークにおいてほぼ最適なインスタンス依存レグレットを達成し、従来手法を著しく上回る。
• MTTCアルゴリズムは、インスタンス依存レグレットと同時にほぼ最適なワーストケースレグレットを達成し、従来の研究における主要な制限を解消した。
• Top-Two Comparison (TTC) 技術のおかげで、アルゴリズムは計算的に効率的に実装可能であり、NP困難な最適化問題を回避できる。
• 数値実験の結果、提案手法は既存手法と比較してランタイムを著しく削減しながら、優れたレグレット性能を達成した。
• アクション集合のネットワーキング構造のおかげで、スケーラブルな学習が可能となり、隠れたリンク遅延を持つ大規模オーバーレイネットワークにおいて実用的である。
• 指数的多数の経路を含むネットワークでは、経路数に比例してスケーリングするUCBベースの手法に比べ、本手法は顕著に優れた性能を示した。