[논문 리뷰] The Design of the Fifth Answer Set Programming Competition

Francesco Calimeri, Martin Gebser외 2명|arXiv (Cornell University)|2014. 05. 14.

Logic, Reasoning, and Knowledge참고 문헌 27인용 수 10

한 줄 요약

이 논문은 2014년 빈 여름 논리학 학술 회의 기간 동안 개최된 다섯 번째 Answer Set Programming (ASP) 경쟁 대회 설계를 제시한다. 이 대회는 ASP-Core-2 표준을 촉진하기 위해 재설계된 대회 프레임워크를 도입하였다. 경쟁은 문제의 복잡성 대신 언어 기능에 기반한 재구성된 트랙을 포함하여, 다양한 솔버 기능을 갖춘 참여를 가능하게 하고, 집합, 선택 규칙, 최적화 등의 기능을 통해 솔버 성능을 더 세밀하게 평가할 수 있도록 하였다. 이는 ASP 솔빙 분야의 표준화와 최신 기술 수준 평가를 촉진하는 데 기여하였다.

ABSTRACT

Answer Set Programming (ASP) is a well-established paradigm of declarative programming that has been developed in the field of logic programming and nonmonotonic reasoning. Advances in ASP solving technology are customarily assessed in competition events, as it happens for other closely-related problem-solving technologies like SAT/SMT, QBF, Planning and Scheduling. ASP Competitions are (usually) biennial events; however, the Fifth ASP Competition departs from tradition, in order to join the FLoC Olympic Games at the Vienna Summer of Logic 2014, which is expected to be the largest event in the history of logic. This edition of the ASP Competition series is jointly organized by the University of Calabria (Italy), the Aalto University (Finland), and the University of Genova (Italy), and is affiliated with the 30th International Conference on Logic Programming (ICLP 2014). It features a completely re-designed setup, with novelties involving the design of tracks, the scoring schema, and the adherence to a fixed modeling language in order to push the adoption of the ASP-Core-2 standard. Benchmark domains are taken from past editions, and best system packages submitted in 2013 are compared with new versions and solvers. To appear in Theory and Practice of Logic Programming (TPLP).

연구 동기 및 목표

• 대규모이고 표준화된 대회를 통해 Answer Set Programming (ASP) 솔빙 분야의 최신 기술 수준을 평가하기 위해.
• 참가 시스템의 준수를 요구하고 기존 시스템의 업데이트를 장려함으로써 ASP-Core-2 언어 표준의 보급을 촉진하기 위해.
• 문제의 복잡성 대신 언어 기능에 기반한 트랙으로 대회 트랙을 재설계하여 솔버 기능 평가의 타겟팅을 향상시키기 위해.
• 집합, 질의, 최적화 등의 다양한 기능에 대해 솔버 성능을 종합적으로 파악하면서도 시간에 따른 발전을 측정하기 위해.
• FLoC 올림픽 대회 및 ICLP 2014와 연계하여 논리 및 인공지능 연구 공동체 내에서의 인지도와 영향력을 높이기 위해.

제안 방법

• 문제의 복잡성 대신 지원하는 언어 기능(예: 선택 규칙, 집합, 질의, 최적화)에 기반한 재설계된 대회 트랙.
• 특히 최적화 문제에 대해 보다 잘 반영하는 단순화되고 향상된 스코어링 시스템 도입.
• 모든 참가 시스템이 ASP-Core-2 표준을 지원하도록 요구하여 일관성 확보 및 표준화 촉진.
• 팀들이 솔버의 업데이트된 버전을 제출할 수 있도록 허용하여 시간에 따른 성과 향상을 비교 가능하게 함.
• praticularly all domains의 문제 인코딩을 거의 전부 재편성하여 현재 언어 기능을 더 잘 반영하고 공정성 및 명확성을 향상시킴.
• 병렬 실행 기능을 고려하기 위해 시스템을 SP(순차적) 및 MP(다중 스레드) 카테고리로 분류함.

실험 결과

연구 질문

• RQ1 경쟁 설계는 현대 ASP 솔버의 언어 기능 다양성을 어떻게 더 잘 반영할 수 있는가?
• RQ2 ASP 커뮤니티에서 ASP-Core-2 표준은 어느 정도 보급되었으며, 경쟁 설계로는 어떻게 더 가속화할 수 있는가?
• RQ3 다양한 언어 기능과 문제 유형에서 네이티브 솔버 아키텍처와 번역 기반 솔버 아키텍처의 성능은 어떻게 다른가?
• RQ4 업데이트된 솔버 버전은 이전 버전 대비 효율성과 기능 지원 측면에서 어떻게 비교되는가?
• RQ5 기능 기반 트랙 구조는 문제 복잡성 기반 분류보다 더 정보가 풍부하고 과학적으로 유의미한 솔버 기능 평가를 가능하게 하는가?

주요 결과

• 대회는 ASP-Core-2 표준의 보급을 성공적으로 촉진하였으며, 모든 참가 시스템이 준수를 요구함으로써 성과를 거두었다.
• 언어 기능 기반의 새로운 트랙 구조는 다양한 솔버 기능에 대한 보다 세밀하고 정보적인 성능 평가를 가능하게 하였다.
• clasp와 wasp와 같은 네이티브 ASP 솔버는 집합 및 최적화와 같은 복잡한 기능 처리에서 뛰어난 성능을 보였다.
• lp2sat3+glucose와 lp2mip2와 같은 번역 기반 시스템은 특히 최적화 및 결정 문제에서 경쟁력 있는 성능을 보였으며, SAT 및 MIP 백엔드의 효과성을 입증하였다.
• 업데이트된 솔버 버전의 포함으로 측정 가능한 성과 향상 평가가 가능해졌으며, 여러 팀이 핵심 벤치마크에서 성능 향상을 이룩하였다.
• 대회 구조 덕분에 특정 문제 유형(예: 질의 처리 또는 최적화)에서 어떤 솔버 패밀리가 뛰어난지 더 명확히 파악할 수 있었으며, 향후 연구 방향을 지원하는 데 기여하였다.