[論文レビュー] Design and Results of ICCMA 2021

Jean-Marie Lagniez, Emmanuel Lonca+2 more|arXiv (Cornell University)|Sep 18, 2021

Multi-Agent Systems and Negotiation参考文献 15被引用数 6

ひとこと要約

本論文は、2021年国際計算的仮説フレームワーク推論コンペティション（ICCMA 2021）の設計、ルール、および結果を提示している。このコンペティションでは、抽象的仮説フレームワークにおける正確および近似アルゴリズムの推論を評価した。コンペティションは近似アルゴリズムの新規トラックを導入し、正確推論では A-Folio DPDB と PYGLAF が優れた結果を示した一方、近似推論では HARPER++ と AFGCN が、特に完全および理想意味論において優れた性能を発揮した。

ABSTRACT

Since 2015, the International Competition on Computational Models of Argumentation (ICCMA) provides a systematic comparison of the different algorithms for solving some classical reasoning problems in the domain of abstract argumentation. This paper discusses the design of the Fourth International Competition on Computational Models of Argumentation. We describe the rules of the competition and the benchmark selection method that we used. After a brief presentation of the competitors, we give an overview of the results.

研究の動機と目的

• 抽象的仮説フレームワークにおける主要な推論問題を解くためのアルゴリズムの効率を体系的に評価すること。
• 2021年ICCMAにおける新規トラックとしての仮説推論の近似アルゴリズムを導入し、その評価を行うこと。
• 複数の意味論（完全、好ましい、安定など）および推論タスクを横断して、既存のソルバーの性能を比較すること。
• 拡張に基づく推論タスクにおける近似解の品質を評価する際の課題に対処するため、決定問題（信用的受容および懐疑的受容）に焦点を当てる。
• 今後のICCMA版における将来の方向性、例えば動的仮説、構造的仮説、並列計算を検討すること。

提案手法

• 正確なアルゴリズム（6つの標準的意味論）と新規トラックとしての近似アルゴリズムの2つのメイントラックを備えたコンペティションを主催した。
• 各トラックに6つのサブトラックを定義し、それぞれが意味論（CO, PR, ST, SST, STG, ID）に対応しており、ICCMA 2019 に基づく標準化された入出力フォーマットを採用した。
• 正確トラックでは、4つの推論タスク（CE-σ：拡張の数え上げ、SE-σ：1つの拡張の探索、DC-σ：信用的受容、DS-σ：懐疑的受容）を評価した。
• 近似トラックでは、CE-σ および SE-σ における意味のある評価指標を定義する課題が大きかったため、DC-σ および DS-σ のみを対象とした。
• 多様性と難易度を保証するため、系統的な手法を用いて各意味論ごとに100の仮説フレームワークからなるベンチマークスイートを構築した。
• 成功したインスタンスにおける累積実行時間に基づいてソルバーをランク付けし、サブトラック間でスコアを正規化した。

実験結果

リサーチクエスチョン

• RQ1 既存の正確ソルバーは、異なる仮説意味論および推論タスクにおいて、どのように性能を発揮するか？
• RQ2 近似アルゴリズムは、抽象的仮説フレームワークにおける信用的受容および懐疑的受容問題を効果的に解けるか？
• RQ3 拡張に基づく推論タスクにおける近似解の品質を評価する際の主な課題は何か？
• RQ4 特に好ましいおよび理想意味論のような難易度の高い意味論において、正確および近似トラックのソルバー間で顕著なパフォーマンストレンドは見られるか？
• RQ5 今後のICCMA版において優先すべき将来の方向性（動的仮説、構造的仮説、並列計算など）は何か？

主な発見

• A-Folio DPDB は正確トラックで最高総合スコア（1838）を記録し、PYGLAF（1835）および μ-toksia（1803）を上回った。
• 完全意味論サブトラックでは、A-Folio DPDB が1862点を記録し、全サブトラックで最高スコアを記録し、この複雑な意味論における優れた性能を示した。
• 安定意味論サブトラックでは、PYGLAF が1299点を記録し、μ-toksia（1210）および FUDGE（1190）を大きく上回った。
• 理想意味論では、PYGLAF が1515点を記録し、サブトラックで最高スコアを記録し、次いで μ-toksia（1103）および ASPARTIX-V21（744）が続いた。
• 近似トラックでは、HARPER++ が最高総合スコア（747）を記録し、完全意味論（457）および理想意味論（351）で優勢だった。
• AFGCN は近似トラックで複数のサブトラックを制し、完全意味論で637点、安定意味論で567点を記録し、意味論を横断した優れた一般化性能を示した。