[論文レビュー] Algorithm Selection for Combinatorial Search Problems: A Survey

Lars Kotthoff|arXiv (Cornell University)|Oct 30, 2012

Algorithms and Data Compression参考文献 123被引用数 9

ひとこと要約

本サーベイは、組合せ探索問題におけるアルゴリズム選択について包括的な概要を提示し、主要なシステム設計基準に基づく分類を通じて、既存のアプローチを統合する。機械学習を用いて、問題の特徴に基づいてパフォーマンスが最も優れるアルゴリズムを予測することで、多様な組合せ探索問題において顕著なパフォーマンス向上が達成されることを示している。

ABSTRACT

The Algorithm Selection Problem is concerned with selecting the best algorithm to solve a given problem on a case-by-case basis. It has become especially relevant in the last decade, as researchers are increasingly investigating how to identify the most suitable existing algorithm for solving a problem instead of developing new algorithms. This survey presents an overview of this work focusing on the contributions made in the area of combinatorial search problems, where Algorithm Selection techniques have achieved significant performance improvements. We unify and organise the vast literature according to criteria that determine Algorithm Selection systems in practice. The comprehensive classification of approaches identifies and analyses the different directions from which Algorithm Selection has been approached. This paper contrasts and compares different methods for solving the problem as well as ways of using these solutions. It closes by identifying directions of current and future research.

研究の動機と目的

• 組合せ探索において、あらゆるケースにわたって優位なアルゴリズムが存在しないことから、個々の問題インスタンスに対して最も効率的なアルゴリズムを選択するという課題に対処すること。
• 実用的システムを定義する核心的な設計基準を同定することで、アルゴリズム選択分野の膨大で多様な文献を統合的かつ体系的に整理すること。
• 実世界の応用において、アルゴリズム選択システムのモデリング、学習、デプロイ戦略を評価・比較すること。
• 特に一般化、スケーラビリティ、モデルの解釈可能性に焦点を当てた、分野における未解決の研究課題と今後の方向性を特定すること。

提案手法

• 選択戦略（パフォーマンス・ポートフォリオ対単一アルゴリズム）、タイミング（オフライン対オンライン）、パフォーマンスモデリング（全ポートフォリオ対個別アルゴリズム）、および特徴使用（問題、アルゴリズム、実行時特徴）の4つの主要基準に基づいて、アルゴリズム選択システムを分類すること。
• 抽出された特徴に基づいて、特定の問題インスタンスに対して最も適したアルゴリズムを予測するパフォーマンスモデルを機械学習で学習すること。
• アルゴリズムのパフォーマンスと相関する最も関連性の高い問題的特徴を特定するための特徴選択技術を用いること。
• 静的ポートフォリオ（事前に定義されたアルゴリズム集合）と動的ポートフォリオ（選択時に構成されるアルゴリズム的ブロック）の両方をサポートすること。
• 実行中にパフォーマンスを監視し、再選択、再起動、リソース再割り当てをトリガーするオンライン選択戦略を実装すること。
• 段階的または階層的な予測モデルを用いて、逐次的な予測を通じてアルゴリズム選択意思決定を精緻化すること。

実験結果

リサーチクエスチョン

• RQ1 アルゴリズム選択システムは、その核心的な設計意思決定に基づいてどのように体系的に分類できるか？
• RQ2 問題特徴は、アルゴリズム選択モデルの一般化性能および精度向上にどのような役割を果たすか？
• RQ3 機械学習ベースのパフォーマンスモデルは、手作業で作成されたルールや単純な統計的手法に比べて、どの程度優れた性能を発揮するか？
• RQ4 オンライン選択戦略とオフライン選択戦略は、未観測の問題インスタンスに対する適応性とパフォーマンスの観点で、どのように比較できるか？
• RQ5 大規模なポートフォリオおよび多様な組合せ探索問題へのスケーリングにおいて、主な課題は何か？

主な発見

• 問題の特徴に基づいた学習済みパフォーマンスモデルを用いたアルゴリズム選択は、多様な組合せ探索問題において、単一のアルゴリズムを使用する場合に比べ顕著なパフォーマンス向上をもたらす。
• 解決の前または実行中に抽出された特徴を用いるシステムは、限られたデータで学習された後でも、新しいインスタンスにうまく一般化できる。
• 実行中にパフォーマンスを監視し、実行中に適応するオンライン選択戦略は、特に動的または予測不能な環境では、静的でオフラインの選択よりも優れた性能を示すことが多い。
• 特に多様で補完的なアルゴリズムを組み合わせたポートフォリオベースのアプローチは、個々のアルゴリズム選択よりも一貫して優れた全体的なパフォーマンスを達成する。
• 理論的にはアルゴリズム選択問題は決定不能であるが、効果的な特徴工学と機械学習を用いることで、実用的なシステムはほぼ最適なパフォーマンスに到達できる。
• より複雑なモデルに比べて、計算コストが低く、予測性能に大きな差がないため、単純で計算が安価なモデル（例：リッジ回帰）は、計算コストの増加に対して予測性能の向上が見合わない場合には、依然として妥当な選択肢である。