[論文レビュー] Run2Survive: A Decision-theoretic Approach to Algorithm Selection based on Survival Analysis

Alexander Tornede, Marcel Wever+3 more|arXiv (Cornell University)|Jul 6, 2020

Machine Learning and Algorithms参考文献 12被引用数 6

ひとこと要約

本稿では、生存分析を用いて打ち切り済みのアルゴリズム実行時間データをモデル化することで、タイムアウトの回避を最優先するリスク回避的選択を可能にする意思決定理論的アルゴリズム選択フレームワークであるRun2Surviveを提案する。26のASlibシナリオで評価された結果、複数の問題領域において、中央値および平均の正規化PAR10スコアが優れた最先端の性能を達成した。

ABSTRACT

Algorithm selection (AS) deals with the automatic selection of an algorithm from a fixed set of candidate algorithms most suitable for a specific instance of an algorithmic problem class, where "suitability" often refers to an algorithm's runtime. Due to possibly extremely long runtimes of candidate algorithms, training data for algorithm selection models is usually generated under time constraints in the sense that not all algorithms are run to completion on all instances. Thus, training data usually comprises censored information, as the true runtime of algorithms timed out remains unknown. However, many standard AS approaches are not able to handle such information in a proper way. On the other side, survival analysis (SA) naturally supports censored data and offers appropriate ways to use such data for learning distributional models of algorithm runtime, as we demonstrate in this work. We leverage such models as a basis of a sophisticated decision-theoretic approach to algorithm selection, which we dub Run2Survive. Moreover, taking advantage of a framework of this kind, we advocate a risk-averse approach to algorithm selection, in which the avoidance of a timeout is given high priority. In an extensive experimental study with the standard benchmark ASlib, our approach is shown to be highly competitive and in many cases even superior to state-of-the-art AS approaches.

研究の動機と目的

• タイムアウトにより完全な実行時間の観測ができない打ち切り済みの学習データの課題に対処すること。
• 補完的補完や破棄ではなく、生存分析を用いて統計的に整合性のある方法で打ち切りデータを適切に扱う理論的根拠に基づくアプローチを開発すること。
• 期待実行時間の最小化よりもタイムアウトの回避を最優先するリスク回避的アルゴリズム選択戦略を設計すること。
• 多様な問題領域とアルゴリズムセットをカバーする包括的なベンチマークスイート上で、提案手法を評価すること。
• 生存ベースのモデルが、従来の回帰や分類的手法と比較して、アルゴリズム選択における意思決定をどのように優れたものにできるかを示すこと。

提案手法

• 打ち切りデータを統計的に整合性を持って捉えるために、生存分析、特に累積ハザード関数（CHF）を用いてアルゴリズム実行時間分布をモデル化する。
• ランダム生存フォレストを用いて、打ち切り済みの実行時間データからインスタンスおよびアルゴリズム固有の生存分布を推定する。
• 期待実行時間とリスク回避的意思決定基準に基づいて、静的および動的アルゴリズムスケジュールを構築する。
• モデル最適化を実用的性能指標と一致させるために、PAR10スコアに適合したサロゲート損失関数を適用する。
• タイムアウトの確率を最小化するアルゴリズム選択戦略を優先することで、リスク回避的姿勢を反映する。
• 生成的実行時間モデルを意思決定理論フレームワークに統合し、不確実性下での選択器意思決定を支援する。

実験結果

リサーチクエスチョン

• RQ1 生存分析は、アルゴリズム選択における打ち切り済みのアルゴリズム実行時間データを効果的にモデル化できるか？
• RQ2 生存モデルに基づくリスク回避的意思決定戦略は、標準的なアルゴリズム選択アプローチと比較してどのように異なるか？
• RQ3 打ち切りデータの適切な取り扱いは、アルゴリズム選択モデルのロバスト性と正確性をどの程度向上させるか？
• RQ4 提案されたRun2Surviveフレームワークは、多様なアルゴリズム選択ベンチマークで最先端の手法を上回るか？
• RQ5 PAR10スコアに適合したサロゲート損失関数の使用は、モデルの性能と一般化能力にどのように影響するか？

主な発見

• Run2Surviveは、26のすべてのASlibベンチマークシナリオにおいて最高の平均順位を達成し、全体的な競争力が強いことを示した。
• 中央値および平均の正規化PAR10スコアが最低であり、問題インスタンス全体にわたる平均的な性能が優れていることを示した。
• 26のシナリオのうち最大13でRun2Surviveが最高の性能を達成しており、特定の問題領域において一貫した優位性を示した。
• 打ち切りデータを破棄または補完する従来の手法は、過剰に楽観的なモデルを生じさせることを示しており、それらよりも著しく優れた性能を発揮した。
• 生存分析に基づくモデリングは、従来の回帰や分類モデルと比較して、より豊かで信頼性の高い実行時間分布推定を可能にした。
• リスク回避戦略は、タイムアウトの可能性を著しく低減し、タイムアウトが極めて深刻な影響を及ぼす実世界の展開要件と整合した。