[論文レビュー] The Design of the Fifth Answer Set Programming Competition

Francesco Calimeri, Martin Gebser+2 more|arXiv (Cornell University)|May 14, 2014

Logic, Reasoning, and Knowledge参考文献 27被引用数 10

ひとこと要約

本論文は、2014年ヴィーン・サマーオブロジックの一部として開催された第5回アンサーセットプログラミング（ASP）コンペティションの設計を提示する。このコンペティションでは、ASP-Core-2標準仕様の採用を促進するために、再設計されたコンペティションフレームワークが導入された。コンペティションは、問題の複雑さではなく言語機能に基づいて再構成されたトラックを特徴とし、さまざまなソルバの能力に適合した参加を可能にするとともに、集約、選択規則、最適化などの機能におけるソルバの性能をより洗練された形で評価できるようにした。これにより、ASPソルビング分野における標準化と最先端技術の評価が進展した。

ABSTRACT

Answer Set Programming (ASP) is a well-established paradigm of declarative programming that has been developed in the field of logic programming and nonmonotonic reasoning. Advances in ASP solving technology are customarily assessed in competition events, as it happens for other closely-related problem-solving technologies like SAT/SMT, QBF, Planning and Scheduling. ASP Competitions are (usually) biennial events; however, the Fifth ASP Competition departs from tradition, in order to join the FLoC Olympic Games at the Vienna Summer of Logic 2014, which is expected to be the largest event in the history of logic. This edition of the ASP Competition series is jointly organized by the University of Calabria (Italy), the Aalto University (Finland), and the University of Genova (Italy), and is affiliated with the 30th International Conference on Logic Programming (ICLP 2014). It features a completely re-designed setup, with novelties involving the design of tracks, the scoring schema, and the adherence to a fixed modeling language in order to push the adoption of the ASP-Core-2 standard. Benchmark domains are taken from past editions, and best system packages submitted in 2013 are compared with new versions and solvers. To appear in Theory and Practice of Logic Programming (TPLP).

研究の動機と目的

• 大規模かつ標準化されたコンペティションを通じて、アンサーセットプログラミング（ASP）ソルビング分野における最先端技術の状況を評価すること。
• 参加システムの準拠を義務づけることで、ASP-Core-2言語標準仕様の採用を促進し、既存システムの更新を奨励すること。
• 問題の複雑さではなく言語機能に基づいてコンペティショントラックを再設計することで、ソルバ能力のより的確な評価を可能にすること。
• 集約、クエリ、最適化などの異なる機能におけるソルバのパフォーマンスの包括的把握を可能にするとともに、時間経過に伴う進歩を測定すること。
• FLoCオリンピックおよびICLP 2014と連携することで、論理およびAI研究コミュニティ内での可視性と影響力を高めること。

提案手法

• 問題の複雑さではなく、サポートされる言語機能（例：選択規則、集約、クエリ、最適化）に基づいて再設計されたコンペティショントラック。
• とくに最適化問題に対して、よりソルバのパフォーマンスを的確に反映できるように、簡素化され改善されたスコアリングシステムの導入。
• すべての参加システムがASP-Core-2標準仕様をサポートすることを義務づけ、一貫性を確保するとともに、標準化を促進した。
• チームが自身のソルバの更新版を提出できるようにし、時間経過に伴う進歩の比較が可能になった。
• ほぼすべてのドメインの問題エンコーディングを見直し、現在の言語機能をよりよく反映させ、公平性と明確性を向上させた。
• 並列実行能力を考慮するために、システムをSP（逐次実行）およびMP（マルチスレッド）のカテゴリに分類した。

実験結果

リサーチクエスチョン

• RQ1 どのようにすれば、現代のASPソルバに見られる多様な言語機能をよりよく反映したコンペティション設計が可能になるか？
• RQ2 ASPコミュニティにおけるASP-Core-2標準仕様の採用度はどの程度で、コンペティション設計はその採用をどの程度加速できるか？
• RQ3 ネイティブ型と翻訳ベースのソルバアーキテクチャの、さまざまな言語機能および問題タイプにおけるパフォーマンスはいかがなっているか？
• RQ4 更新されたソルバーバージョンは、以前のバージョンと比較して、効率性および機能サポートの面でどの程度向上しているか？
• RQ5 機能ベースのトラック構造は、複雑さベースの分類に比べて、ソルバ能力のより情報量が多く科学的に価値のある評価を可能にするか？

主な発見

• コンペティションは、すべての参加システムが準拠を義務づけられたことから、ASP-Core-2標準仕様の採用を成功裏に促進した。
• 言語機能に基づいた新しいトラック構造により、さまざまなソルバ能力におけるより細分化され、情報量の多いパフォーマンス評価が可能になった。
• clasp や wasp といったネイティブASPソルバは、集約や最適化といった複雑な機能において、全トラックで優れたパフォーマンスを示した。
• lp2sat3+glucose や lp2mip2 といった翻訳ベースのシステムは、特に最適化および意思決定問題において競争力のある結果を示し、SATおよびMIPバックエンドの有効性を浮き彫りにした。
• 更新されたソルバーバージョンの導入により、いくつかのチームが主要ベンチマークでパフォーマンス向上を達成し、進歩の測定が可能になった。
• コンペティションの構造により、特定の問題カテゴリ（例：クエリ処理、最適化）においてどのソルバーファミリーが優れているかをより明確に把握できるようになった。これは、今後の研究の方向性を支援するものである。