[논문 리뷰] SymbolicData:SDEval - Benchmarking for Everyone

Albert Heinle, Viktor Levandovskyy외 1명|arXiv (Cornell University)|2013. 10. 18.

Bioinformatics and Genomic Networks참고 문헌 8인용 수 5

한 줄 요약

이 논문은 기호 데이터 프로젝트를 기반으로 구축된 유연하고 오픈소스인 SDEval을 소개한다. SDEval은 컴퓨터 대수 시스템에서의 성능 평가를 표준화하고 자동화하여 재현 가능성을 높이는 벤치마킹 툴박스이다. 사용자는 여러 컴퓨터 대수 시스템에서 실행 가능한 벤치마크를 생성할 수 있으며, 구조화된 작업 폴더를 통해 결과 모니터링, 시간 측정, 재현을 지원하여 알고리즘 연구의 투명성과 비교 가능성에 크게 기여한다.

ABSTRACT

In this paper we will present SDeval, a software project that contains tools for creating and running benchmarks with a focus on problems in computer algebra. It is built on top of the Symbolic Data project, able to translate problems in the database into executable code for various computer algebra systems. The included tools are designed to be very flexible to use and to extend, such that they can be utilized even in contexts of other communities. With the presentation of SDEval, we will also address particularities of benchmarking in the field of computer algebra. Furthermore, with SDEval, we provide a feasible and automatizable way of reproducing benchmarks published in current research works, which appears to be a difficult task in general due to the customizability of the available programs. We will simultaneously present the current developments in the Symbolic Data project.

연구 동기 및 목표

• 컴퓨터 대수 연구 분야에서 표준화되고 재현 가능한 벤치마크의 부족을 해결하기 위해.
• 개발자와 연구자가 공통 문제 세트에서 다양한 컴퓨터 대수 시스템의 성능을 쉽게 비교할 수 있도록 하기 위해.
• 공개된 벤치마크를 패키지화된 공유 가능하고 이식 가능한 작업 폴더 구조로 입력, 코드, 결과를 포함하여 자동으로 재현할 수 있도록 하기 위해.
• 다양한 시스템에서 실행 가능한 코드로 추상적 문제 인스턴스를 변환할 수 있는 도구를 기여하여 기호 데이터 프로젝트를 확장하기 위해.
• 새로운 계산 문제와 시스템을 위한 확장 가능하고 사용자 정의 가능한 도구를 제공하여 공동체 기반의 벤치마킹을 지원하기 위해.

제안 방법

• SDEval는 기호 데이터 데이터베이스의 기호 문제 인스턴스를 다양한 컴퓨터 대수 시스템(Sage, Mathematica, Maple 등)의 실행 가능한 코드로 변환하는 번역기 기능을 사용한다.
• 표준화된 문제 항목에서 벤치마크 세트를 생성하기 위한 명령줄 인터페이스와 GUI 인터페이스를 제공한다.
• 벤치마크 실행기에서는 실행 시간과 메모리 사용량을 모니터링하며, 사용자 정의 가능한 타임아웃 설정과 장시간 실행되는 프로세스의 자동 종료 기능을 지원한다.
• 결과는 인간이 읽을 수 있는 HTML 형식과 기계가 처리할 수 있는 XML 형식으로 로그에 기록되어 투명성과 자동화 가능성을 높인다.
• 시스템은 입력, 코드, 출력을 봉인한 작업 폴더 구조로 벤치마크를 조직하여 다양한 플랫폼 간 쉬운 공유와 재현 가능성을 보장한다.
• Sage와의 통합을 위해 IntPS 데이터베이스에 대한 선택적 인터페이스를 제공하여 Sage 환경에서 문제 인스턴스를 직접 사용할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 다양한 시스템과 연구 그룹 간에 컴퓨터 대수에서의 벤치마킹을 어떻게 더 재현 가능하고 투명하게 만들 수 있는가?
• RQ2 기호 계산 문제에 대해 다중 시스템의 벤치마크를 자동으로 생성하고 실행하기 위한 인프라는 무엇이 필요한가?
• RQ3 기호 데이터 프로젝트의 문제 인스턴스를 어떻게 체계적으로 다양한 컴퓨터 대수 시스템에서 실행 가능한 코드로 변환할 수 있는가?
• RQ4 이질적인 소프트웨어 환경 간에 일관되고 신뢰할 수 있는 결과 비교를 보장하기 위한 메커니즘은 무엇인가?
• RQ5 장기적인 재현 가능성과 공동체의 확장을 지원하기 위해 벤치마크 워크플로우는 어떻게 구성되어야 하는가?

주요 결과

• SDEval는 통합된 작업 폴더 구조를 통해 여러 컴퓨터 대수 시스템에서 표준화되고 재현 가능한 벤치마크를 생성할 수 있다.
• 사용자가 정의한 시간 또는 메모리 한도를 초과하는 계산은 자동으로 모니터링되고 종료되어 벤치마크의 강건성을 향상시킨다.
• 결과는 인간이 읽을 수 있는 HTML 형식과 기계가 처리할 수 있는 XML 형식으로 보고되어 투명성과 자동화 잠재력을 높인다.
• 모듈러 설계 덕분에 새로운 계산 문제와 추가적인 컴퓨터 대수 시스템에 쉽게 확장할 수 있다.
• 연구자들이 최소한의 설정으로 공개된 결과를 쉽게 재현할 수 있어 벤치마크 검증의 장벽을 낮춘다.
• Sage와의 통합 및 IntPS 데이터베이스 지원은 기존 기호 계산 생태계와의 실질적인 상호운용성을 보여준다.