[论文解读] Design and Results of ICCMA 2021

Jean-Marie Lagniez, Emmanuel Lonca+2 more|arXiv (Cornell University)|Sep 18, 2021

Multi-Agent Systems and Negotiation参考文献 15被引用 6

一句话总结

本文介绍了2021年国际抽象论证框架计算模型竞赛（ICCMA 2021）的设计、规则与结果，该竞赛评估了在抽象论证框架中进行精确与近似推理的算法。竞赛新增了近似算法赛道，并发现A-Folio DPDB与PYGLAF在精确推理中表现领先，而HARPER++与AFGCN在近似推理中尤为出色，特别是在完整与理想语义下。

ABSTRACT

Since 2015, the International Competition on Computational Models of Argumentation (ICCMA) provides a systematic comparison of the different algorithms for solving some classical reasoning problems in the domain of abstract argumentation. This paper discusses the design of the Fourth International Competition on Computational Models of Argumentation. We describe the rules of the competition and the benchmark selection method that we used. After a brief presentation of the competitors, we give an overview of the results.

研究动机与目标

• 系统评估求解抽象论证框架中关键推理问题的算法效率。
• 在ICCMA 2021中引入并评估论证推理的近似算法，作为新赛道。
• 比较现有求解器在多种语义（完整、偏好、稳定等）和推理任务中的表现。
• 通过聚焦于决策问题（可信接受与怀疑接受）来应对评估近似算法的挑战。
• 探索未来方向，如动态论证、结构化论证以及未来ICCMA版本中的并行计算。

提出的方法

• 组织了两个主要赛道：针对六种标准语义的精确算法，以及新增的近似算法赛道。
• 每个赛道定义了六个子赛道，每个子赛道对应一种语义（CO, PR, ST, SST, STG, ID），输入/输出格式基于ICCMA 2019标准化。
• 对于精确赛道，评估求解器在四个推理任务上的表现：CE-σ（计算扩展数）、SE-σ（寻找一个扩展）、DC-σ（可信接受）、DS-σ（怀疑接受）。
• 对于近似赛道，由于难以为CE-σ与SE-σ定义有意义的评估指标，仅聚焦于DC-σ与DS-σ。
• 使用每种语义100个论证框架的基准套件，通过系统方法选取以确保多样性与难度。
• 根据成功求解实例的累计运行时间对求解器进行排名，子赛道间得分进行归一化处理。

实验结果

研究问题

• RQ1 现有精确求解器在不同论证语义与推理任务中的表现如何？
• RQ2 近似算法能否有效解决抽象论证框架中的可信接受与怀疑接受问题？
• RQ3 在基于扩展的推理任务中，评估近似解质量的关键挑战是什么？
• RQ4 在精确与近似赛道中，求解器的表现趋势如何，特别是在偏好与理想语义等困难语义下？
• RQ5 未来ICCMA版本中应优先考虑哪些未来方向，如动态论证、结构化论证或并行计算？

主要发现

• A-Folio DPDB在精确赛道中获得最高总分（1838），领先于PYGLAF（1835）与μ-toksia（1803）。
• 在完整语义子赛道中，A-Folio DPDB得分1862，为所有子赛道中最高，表明其在该复杂语义下表现强劲。
• PYGLAF在稳定语义子赛道中以1299分领先，显著优于μ-toksia（1210）与FUDGE（1190）。
• 在理想语义中，PYGLAF获得1515分，为该子赛道最高分，其次为μ-toksia（1103）与ASPARTIX-V21（744）。
• 在近似赛道中，HARPER++以总分747位居第一，尤其在完整语义（457分）与理想语义（351分）中表现突出。
• AFGCN在近似赛道中赢得多个子赛道，包括完整语义中637分与稳定语义中567分，展现出跨语义的强泛化能力。