[論文レビュー] Learning to Prune: Speeding up Repeated Computations

Daniel Alabi, Adam Tauman Kalai+4 more|arXiv (Cornell University)|Apr 26, 2019

Advanced Bandit Algorithms Research参考文献 19被引用数 8

ひとこと要約

本稿では、過去の解に基づいて動的に探索空間の無関係な部分を刈り込むことで、繰り返しの計算を高速化する「学習による刈り込み」アルゴリズムを提案する。探索と活用の戦略を用い、刈り込みの妥当性を確認するための定期的な完全計算を組み込むことで、正しさを高確率で保ちながら実行時間を短縮し、最短経路ルーティング、文字列照合、線形計画法の問題において、定数要因の範囲でほぼ最適な刈り込み性能を達成する。

ABSTRACT

It is common to encounter situations where one must solve a sequence of similar computational problems. Running a standard algorithm with worst-case runtime guarantees on each instance will fail to take advantage of valuable structure shared across the problem instances. For example, when a commuter drives from work to home, there are typically only a handful of routes that will ever be the shortest path. A naive algorithm that does not exploit this common structure may spend most of its time checking roads that will never be in the shortest path. More generally, we can often ignore large swaths of the search space that will likely never contain an optimal solution. We present an algorithm that learns to maximally prune the search space on repeated computations, thereby reducing runtime while provably outputting the correct solution each period with high probability. Our algorithm employs a simple explore-exploit technique resembling those used in online algorithms, though our setting is quite different. We prove that, with respect to our model of pruning search spaces, our approach is optimal up to constant factors. Finally, we illustrate the applicability of our model and algorithm to three classic problems: shortest-path routing, string search, and linear programming. We present experiments confirming that our simple algorithm is effective at significantly reducing the runtime of solving repeated computations.

研究の動機と目的

• 繰り返し発生する構造的に類似した計算問題に対して、標準的な最悪計算量アルゴリズムの非効率性を解消するため、問題間で共有される解の構造を活用すること。
• 正しさを損なわず、最悪入力列に対しても最小限の探索空間に抑える学習ベースの刈り込み戦略を設計すること。
• 入力変更の分布的仮定なしに、証明可能な正しさの保証のもとでほぼ最適な刈り込み性能を達成すること。
• 最短経路ルーティング、文字列探索、線形計画法といった多様な問題に応用可能で、効果的であることを示すこと。

提案手法

• アルゴリズムは、これまでに返されたすべての解を含む刈り込み済み探索空間 S_i を維持し、徐々に関連のある領域に探索を絞っていく。
• 「活用」ラウンド（S_i を用いて現在のインスタンスを高速に解く）と「探索」ラウンド（完全な最悪計算量アルゴリズムを実行して S_i の妥当性を検証・拡張する）を交互に繰り返す。
• 探索確率 p_i = 1/√i を用いることで、徐々に探索頻度を減らしつつ、長期的に高確率での正しさを維持する。
• 本手法は、最適な後知恵的刈り込みに対する累積実行時間の観点で、定数要因の範囲で最適であることが形式的に証明されている。
• 線形計画法など、解の検証が高速な問題では、誤った解を後で検出し、修正可能であり、ゼロエラー実行が可能になる。
• 本手法は、最短経路ルーティング（Dijkstra法）、文字列照合、線形計画法（Simplex法）という3つの古典的問題に適用され、実験的妥当性が確認された。

実験結果

リサーチクエスチョン

• RQ1 学習ベースの刈り込み戦略は、正しさを保ちながら繰り返し計算の実行時間を顕著に短縮できるか？
• RQ2 累積実行時間を最小化するために、完全計算（探索）と刈り込み（活用）のバランスをどのように取るべきか？
• RQ3 入力変更の分布的仮定なしに、ほぼ最適な刈り込み性能を達成することは可能か？
• RQ4 実世界の問題、たとえば最短経路ルーティングや線形計画法において、動的刈り込みが探索空間をどの程度縮小できるか？
• RQ5 実際の運用において、アルゴリズムの誤り率と刈り込み効率は、時間経過とともにどのように変化するか？

主な発見

• ピッツバーグの道路ネットワークにおける最短経路ルーティングでは、Dijkstra法と比較して平均ノード探索数を最大70％まで削減し、15万ラウンドにわたって0.068％の誤った解にとどまった。
• CATSテストスイートからの線形計画法インスタンスでは、平均的なSimplex反復回数を50％以上削減し、15万ラウンドにわたって0.018％の誤り率を示した。
• 平均的な刈り込み済み集合のサイズは時間経過とともにゆっくりと増加しており、無関係な領域の効果的な学習と段階的刈り込みが行われていることを示している。
• アルゴリズムの累積実行時間は、最適な後知恵的刈り込みと定数要因の範囲内で一致しており、理論的にほぼ最適性が証明された。
• 実験的結果から、入力変更が敵対的または最悪ケースであっても、本手法が多様な問題領域で有効であることが確認された。
• 解の検証が高速な問題では、本アプローチにより顕著な高速化が達成可能であり、後から誤りを訂正することでゼロエラー実行が可能になる。