[論文レビュー] ICON Challenge on Algorithm Selection

Lars Kotthoff|arXiv (Cornell University)|Nov 12, 2015

Scheduling and Optimization Algorithms被引用数 5

ひとこと要約

本論文は、13のASlibシナリオにわたり11のアルゴリズム選択システムを10回のブートストラップ分割で評価するベンチマークインィシャチブ、ICONチャレンジ・オブ・アルゴリズム選択を提示する。優勝システムであるzillaは、最小の正規化スコア（0.366）を達成し、1つの最良ソルバーよりも63%以上のギャップを埋めた。結果は、ブートストラップ評価全体を通して高い安定性を示している。

ABSTRACT

We present the results of the ICON Challenge on Algorithm Selection.

研究の動機と目的

• 標準化されたベンチマークを用いて、実世界の設定におけるアルゴリズム選択システムの評価と比較を行う。
• プリソルビング、特徴選択、ハイパーパramータチューニングのシステムパフォーマンスへの影響を評価する。
• ASlibフレームワークを用いて、公平で再現可能なアルゴリズム選択のベンチマークを確立する。
• 複数のトレイン/テスト分割におけるパフォーマンス差の安定性と有意性を分析する。
• トップパフォーマンスを示すシステムを同定し、zillaやASAP_RFのような革新的なアプローチを強調する。

提案手法

• 各シナリオに対して10回のブートストラップトレイン/テスト分割を用い、13のASlibシナリオでシステムを評価した。層化は行わなかった。
• 各分割において、パフォーマンスは仮想最良ソルバー（VBS）と単一最良ソルバー（SB）を用いた正規化式により正規化された：$ s_{norm} = \frac{s - s_{VBS}}{s_{SB} - s_{VBS}} $、ここで低い値がより良い結果を示す。
• プリソルバーは時間制限内で適用され、プリソルビング中に解決されたインスタンスはトレーニングから除外され、適切にスコア付けされた。
• システムは特徴サブセットを意図的に使用し、トレーニングおよびテストセットでは関連する特徴のみを保持した。
• 予測は3つの指標を用いて評価された：平均PAR10スコア、誤分類ペナルティ、解決されたインスタンス数。
• 最終順位は、全130評価（13シナリオ × 10分割）における正規化スコアの平均値によって決定され、安定性を評価するためにブートストラップが用いられた。

実験結果

リサーチクエスチョン

• RQ1 異なるアルゴリズム選択システムは、多様で実世界のASlibシナリオにおいてどのように性能を発揮するか？
• RQ2 プリソルビングおよび特徴サブセット選択は、システムのパフォーマンスとロバストネスにどのような影響を与えるか？
• RQ3 複数のトレイン/テスト分割およびブートストラップサンプルにおけるパフォーマンス順位はどの程度安定しているか？
• RQ4 学術文献に以前に発表されていないシステムでも、トップパフォーマンスを達成できるか？
• RQ5 ハイパーパramータチューニングとモデルアーキテクチャの相対的寄与度は、全体のパフォーマンスにどのように影響するか？

主な発見

• 優勝システムであるzillaは、正規化スコア0.366を達成し、これは1つの最良ソルバーよりも63.4%のギャップを埋めたことを示している。
• zillafolioは2位にランクされ、スコア0.370を記録し、zillaとほとんど差がない結果を示しており、強力なロバストネスを示している。
• 48時間トレーニングを経たAutofolio-48は0.375まで向上し、延長されたハイパーパramータサーチがパフォーマンス向上に寄与することを示している。
• ASAP_RF や llama-regrPairs などのシステムは強く、特にASAP_RFは一部のシナリオで他すべてのシステムを上回った。
• 1,000回のブートストラップサンプルからの信頼区間は、上位10位の順位に顕著なシフトがないことを確認し、高い順位安定性を裏付けた。
• SAT12-RAND および SAT12-IND シナリオは特に困難であり、一部のシステムは特定の分割において単一最良ソルバーよりも悪いパフォーマンスを示した。