[논문 리뷰] Design and Results of ICCMA 2021

Jean-Marie Lagniez, Emmanuel Lonca외 2명|arXiv (Cornell University)|2021. 09. 18.

Multi-Agent Systems and Negotiation참고 문헌 15인용 수 6

한 줄 요약

이 논문은 2021년 국제 추론 모델링 경쟁(ICCMA 2021)의 설계, 규칙 및 결과를 제시한다. 이 경쟁은 추상적 추론 프레임워크에서 정확한 및 근사 알고리즘의 추론을 평가하였다. 경쟁은 근사 알고리즘 전용 신규 트랙을 도입하였으며, 정확한 추론에서는 A-Folio DPDB와 PYGLAF가 두각을 나타내었고, 근사 추론에서는 HARPER++와 AFGCN이 특히 완전성 및 이상적 의미론에서 뛰어난 성능을 보였다.

ABSTRACT

Since 2015, the International Competition on Computational Models of Argumentation (ICCMA) provides a systematic comparison of the different algorithms for solving some classical reasoning problems in the domain of abstract argumentation. This paper discusses the design of the Fourth International Competition on Computational Models of Argumentation. We describe the rules of the competition and the benchmark selection method that we used. After a brief presentation of the competitors, we give an overview of the results.

연구 동기 및 목표

• 추상적 추론 프레임워크에서 핵심 추론 문제를 해결하는 알고리즘의 효율성을 체계적으로 평가하기 위해.
• ICCMA 2021에서 새롭게 도입된 추론 근사 알고리즘의 소개 및 평가를 위해.
• 다양한 의미론(완전, 선호, 안정 등)과 추론 작업 간 기존 솔버의 성능을 비교하기 위해.
• 확장 기반 추론 작업에 대한 근사 해의 품질 평가의 과제를 해결하기 위해 결정 문제(신뢰적 수용 및 경계 수용)에 초점을 맞추기 위해.
• 미래 ICCMA 대회에서 고려할 만한 방향, 예를 들어 동적 추론, 구조적 추론, 병렬 처리 등을 탐색하기 위해.

제안 방법

• 정확한 알고리즘에 대한 여섯 가지 표준 의미론과 근사 알고리즘 전용 신규 트랙을 포함한 두 주요 트랙으로 구성된 경쟁을 조직하였다.
• 각 트랙에 대해 의미론에 대응하는 여섯 개의 서트랙을 정의하였으며(코, 프, 스탠드, 스탠드, 스탠드, 아이디), ICCMA 2019 기반으로 표준화된 입력/출력 형식을 사용하였다.
• 정확한 트랙의 경우, 네 가지 추론 작업을 평가하였다: CE-σ(확장 수 계산), SE-σ(한 개의 확장 찾기), DC-σ(신뢰적 수용), DS-σ(경계 수용).
• 근사 트랙의 경우, CE-σ 및 SE-σ에 대한 의미 있는 평가 지표를 정의하는 데 어려움이 있었기 때문에 DC-σ 및 DS-σ에만 집중하였다.
• 다양성과 난이도를 확보하기 위해 체계적인 방법으로 선정된 의미론당 100개의 추론 프레임워크로 구성된 벤치마크 세트를 사용하였다.
• 성공적으로 해결된 인스턴스에 대한 누적 실행 시간 기반으로 솔버를 순위 매기며, 각 서트랙 간 정규화된 점수를 적용하였다.

실험 결과

연구 질문

• RQ1 기존의 정확한 솔버는 다양한 추론 의미론과 추론 작업에서 어떻게 성능을 발휘하는가?
• RQ2 근사 알고리즘이 추상적 추론 프레임워크에서 신뢰적 수용 및 경계 수용 문제를 효과적으로 해결할 수 있는가?
• RQ3 확장 기반 추론 작업에 대한 근사 해의 품질 평가에서 발생하는 주요 과제는 무엇인가?
• RQ4 특히 선호 및 이상적 의미론과 같은 어려운 의미론에서 정확한 트랙과 근사 트랙의 솔버 간 성능 추세는 어떻게 나타나는가?
• RQ5 미래 ICCMA 대회에서 우선적으로 고려해야 할 방향은 무엇인가? 예를 들어 동적 추론, 구조적 추론, 병렬 처리 등.

주요 결과

• A-Folio DPDB는 정확한 트랙에서 총점 1838점을 기록하여 PYGLAF(1835점)와 μ-toksia(1803점)를 앞서는 최고의 성과를 보였다.
• 완전성 의미론 서트랙에서 A-Folio DPDB는 1862점으로 모든 서트랙 중 최고 점수를 기록하여 이 복잡한 의미론에서 뛰어난 성능을 보였다.
• 안정성 의미론 서트랙에서 PYGLAF는 1299점으로 가장 높은 점수를 기록하여 μ-toksia(1210점)와 FUDGE(1190점)를 크게 앞섰다.
• 이상적 의미론에서 PYGLAF는 1515점으로 해당 서트랙에서 최고 점수를 기록하였고, 이는 μ-toksia(1103점)와 ASPARTIX-V21(744점)를 앞섰다.
• 근사 트랙에서 HARPER++는 총점 747점으로 가장 높은 점수를 기록하였으며, 완전성(457점)과 이상적 의미론(351점)에서 압도적인 성능을 보였다.
• AFGCN은 근사 트랙에서 여러 서트랙을 제패하였으며, 완전성 의미론에서 637점, 안정성 의미론에서 567점을 기록하여 다양한 의미론 간 뛰어난 일반화 능력을 보였다.