[論文レビュー] ASlib: A Benchmark Library for Algorithm Selection

Bernd Bischl, Pascal Kerschke+9 more|arXiv (Cornell University)|Jun 8, 2015

Machine Learning and Data Classification参考文献 72被引用数 4

ひとこと要約

本論文は、AI分野の多様な分野にわたり、アルゴリズム選択のための標準化されたベンチマークライブラリであるASlibを紹介する。ASlibは、共通フォーマットとリポジトリを提供することで、アルゴリズム選択のシナリオを標準化し、事前に収集されたパフォーマンスデータと共有評価プラットフォームを提供することで、計算コストを低減し、アルゴリズム選択手法の公平かつ再現可能な比較を可能にする。17のシナリオ（6つの分野から）において、機械学習ベースの選択により顕著なパフォーマンス向上が示された。

ABSTRACT

The task of algorithm selection involves choosing an algorithm from a set of algorithms on a per-instance basis in order to exploit the varying performance of algorithms over a set of instances. The algorithm selection problem is attracting increasing attention from researchers and practitioners in AI. Years of fruitful applications in a number of domains have resulted in a large amount of data, but the community lacks a standard format or repository for this data. This situation makes it difficult to share and compare different approaches effectively, as is done in other, more established fields. It also unnecessarily hinders new researchers who want to work in this area. To address this problem, we introduce a standardized format for representing algorithm selection scenarios and a repository that contains a growing number of data sets from the literature. Our format has been designed to be able to express a wide variety of different scenarios. Demonstrating the breadth and power of our platform, we describe a set of example experiments that build and evaluate algorithm selection models through a common interface. The results display the potential of algorithm selection to achieve significant performance improvements across a broad range of problems and algorithms.

研究の動機と目的

• アルゴリズム選択研究における標準化されたデータフォーマットと共有リポジトリの欠如が再現可能性と比較の妨げとなっているのを是正する。
• 新規研究者による参入障壁を下げるために、事前に収集されたパフォーマンスデータとアルゴリズムセレクタを評価するための共通インターフェースを提供する。
• 拡張可能な標準化済み再利用可能なシナリオの収集を通じて、分野を越えたアルゴリズム選択技術の評価を可能にする。
• 固定された提出締切やハードウェア制約がない動的で継続的な評価プラットフォームを提供することで、アルゴリズム選択システムの継続的評価を支援する。
• 新しいシナリオと標準化された交差検証分割を定期的に更新することで、過学習のリスクを軽減する。

提案手法

• アルゴリズム選択シナリオを表すための標準化されたデータフォーマットを提案し、問題インスタンスにおけるソルバのパフォーマンス、特徴量、メタデータを含む。
• ASlibを導入し、6つの分野（SAT、CSP、計画など）から成る17のアルゴリズム選択シナリオを収録した公開オンラインリポジトリ（aslib.net）を提供する。
• 各シナリオには、事前に計算されたパフォーマンスデータ、交差検証分割、問題インスタンスおよびアルゴリズムの特徴量が含まれる。
• プラットフォームは自動的探索的データ分析をサポートし、研究者が結果とソースコードを提出して検証できる。
• パフォーマンスは複数の指標（例：平均解決インスタンス数、PAR10、MCP）を用いて評価され、耐性とトレードオフの評価が可能となる。
• システムはリアルタイムでの更新と継続的評価を可能にし、固定された締切なしに最新の最先端技術の状態を反映する。

実験結果

リサーチクエスチョン

• RQ1 標準化されたベンチマークライブラリは、アルゴリズム選択研究における再現可能性と比較可能性を向上させることができるか？
• RQ2 機械学習ベースのアルゴリズムセレクタのパフォーマンスは、多様で現実的で多様なシナリオにおいて、スタンドアロンソルバーよりも優れているか？
• RQ3 事前に収集されたパフォーマンスデータは、アルゴリズム選択手法の評価にかかる計算負荷をどの程度低減できるか？
• RQ4 継続的で動的な評価プラットフォームは、アルゴリズム選択システムにおける過学習の検出と防止にどのように寄与できるか？
• RQ5 アルゴリズム選択システムのベンチマークにおける主な課題は何か、そして共有インfraストラクチャによってそれらはどのように解決できるか？

主な発見

• ASlibの標準化されたフォーマットとリポジトリにより、研究者はソルバを実行せずにアルゴリズム選択手法を評価でき、計算コストを顕著に低減できる。
• プラットフォームは、固定された締切がない動的かつ継続的な評価をサポートしており、最新のシステムと結果がリアルタイムで統合可能である。
• 複数の指標（例：PAR10、MCP）を用いたパフォーマンス評価により、トレードオフが明らかになった。例えば、アルゴリズムスケジューリングは解決インスタンス数を増加させるが、誤分類ペナルティを増加させる傾向がある。
• 本研究では、最良のソルバをインスタンスごとに選択した場合に近いオラクル性能が達成され、92％のSATインスタンスが解決された一方、最良のスタンドアロンソルバでは77％にとどまった。
• アルゴリズム選択におけるICONチャレンジは、zilaなどの最先端システムがリソース制約下でも複数の指標で他を上回ることを確認した。
• 6つの分野から成る17の多様なシナリオの統合により、アルゴリズム選択手法は多様で現実的な条件下でテストされ、一般化能が向上した。