[論文レビュー] System Descriptions of the First International Competition on Computational Models of Argumentation (ICCMA'15)

Matthias Thimm, Serena Villata|arXiv (Cornell University)|Oct 19, 2015

Multi-Agent Systems and Negotiation参考文献 4被引用数 10

ひとこと要約

本論文は、第1回国際的論理的枠組みの計算モデルコンペティション（ICCMA'15）に提出された18のソルバーのシステム仕様を提示し、抽象的論理的枠組みにおけるその性能を評価している。コンペティションでは、4つの標準的意味論（完全、好ましい、基礎的、安定的）の下で、4つのコアな推論タスク（拡張計算、信用的推論、懐疑的推論）を評価し、計算的論理的推論研究における正しさと効率性のベンチマークを確立した。

ABSTRACT

This volume contains the system description of the 18 solvers submitted to the First International Competition on Computational Models of Argumentation (ICCMA'15) and therefore gives an overview on state-of-the-art of computational approaches to abstract argumentation problems. Further information on the results of the competition and the performance of the individual solvers can be found on at http://argumentationcompetition.org/2015/.

研究の動機と目的

• 計算的論理的推論におけるソルバーの評価のための標準化されたベンチマークを確立すること。
• 共通の抽象的論理的枠組みセットを用いたソルバーの実証的比較を可能にすること。
• 抽象的論理的枠組みにおける推論に関する課題と研究ギャップを同定すること。
• 今後の研究における共通の形式的表現と問題表現の採用を促進すること。
• 最先端のアプローチと、ソルバーおよび意味論間でのパフォーマンス差を浮き彫りにすること。

提案手法

• ソルバーは人工的に生成された抽象的論理的枠組み上で評価された。
• 4つのコアな推論タスクが定義された：1つの拡張の特定、すべての拡張の特定、信用的推論、懐疑的推論。
• 4つの標準的意味論が使用された：完全、好ましい、基礎的、安定的。
• 各タスクと意味論の組み合わせについて、正しさと実行時間の両面でソルバーが評価された。
• 追加の意味論のサポートは許可されたが、必須ではなかった。
• 公平性と再現可能性を確保するため、標準化された入力形式と評価プロトコルが使用された。

実験結果

リサーチクエスチョン

• RQ1 異なるソルバーは、さまざまな抽象的論理的枠組みの意味論における拡張の計算において、どのように性能を発揮するか？
• RQ2 4つのコアな推論タスクを通じて、ソルバーの相対的な効率性はどのようになるか？
• RQ3 どの意味論とタスクが、現在のソルバーにとって最も計算上の挑戦となるか？
• RQ4 ソルバーの実装は、信用的推論と懐疑的推論をどのように処理しているか？
• RQ5 ソルバーは合成ベンチマーク上で、どの程度正しさとスケーラビリティを達成しているか？

主な発見

• コンペティションにより、異なる推論タスクや意味論において、ソルバー間で顕著なパフォーマンスのばらつきが明らかになった。
• 安定的意味論を処理するソルバーは、好ましいまたは完全な意味論を処理するソルバーに比べ、一般的に高速に動作した。
• すべての拡張を計算することは、特に大きな枠組みにおいて、最も計算コストの高いタスクであった。
• 複数のソルバーが、すべてのタスクと意味論で高い正しさを示した。これは、実装の堅牢性を示している。
• コンペティションは、優れたパフォーマンスを示すソルバーを特定し、今後の最適化のための分野を浮き彫りにした。
• 標準化されたベンチマークと形式的表現は、今後の計算的論理的推論分野における比較的な研究の基盤を提供した。