[論文レビュー] Verification & Validation of Agent Based Simulations using the VOMAS (Virtual Overlay Multi-agent System) Approach.

Muaz A. Niazi, Amir Hussain+1 more|arXiv (Cornell University)|Jan 1, 2009

Simulation Techniques and Applications参考文献 16被引用数 16

ひとこと要約

本論文では、挙動の不変性を保証し、行動を記録し、リアルタイム監視を可能にするために、シミュレーションの上に仮想マルチエージェントシステムを埋め込むことで、エージェントベースのシミュレーションの検証と検証を可能にする新しいフレームワーク、VOMAS（Virtual Overlay Multi-agent System）を紹介する。このアプローチにより、社会科学やコンピュータネットワークを含む多様な分野において、ログ記録、アニメーション、不変性のチェックを統合することで、自動化された検証が実現され、信頼性が向上する。

ABSTRACT

Agent Based Models are very popular in a number of different areas. For example, they have been used in a range of domains ranging from modeling of tumor growth, immune systems, molecules to models of social networks, crowds and computer and mobile self-organizing networks. One reason for their success is their intuitiveness and similarity to human cognition. However, with this power of abstraction, in spite of being easily applicable to such a wide number of domains, it is hard to validate agent-based models. In addition, building valid and credible simulations is not just a challenging task but also a crucial exercise to ensure that what we are modeling is, at some level of abstraction, a model of our conceptual system; the system that we have in mind. In this paper, we address this important area of validation of agent based models by presenting a novel technique which has broad applicability and can be applied to all kinds of agent-based models. We present a framework, where a virtual overlay multi-agent system can be used to validate simulation models. In addition, since agent-based models have been typically growing, in parallel, in multiple domains, to cater for all of these, we present a new single validation technique applicable to all agent based models. Our technique, which allows for the validation of agent based simulations uses VOMAS: a Virtual Overlay Multi-agent System. This overlay multi-agent system can comprise various types of agents, which form an overlay on top of the agent based simulation model that needs to be validated. Other than being able to watch and log, each of these agents contains clearly defined constraints, which, if violated, can be logged in real time. To demonstrate its effectiveness, we show its broad applicability in a wide variety of simulation models ranging from social sciences to computer networks in spatial and non-spatial conceptual models.

研究の動機と目的

• エージェントベースのシミュレーションの検証という重要な課題に取り組む。これは、出現現象、動的変化、高次元パラメータ空間のため、複雑である。
• アニメーションやデータの専門家レビューに大きく依存する従来の検証手法の限界を克服する。これらの手法では、微細な誤りを見逃す可能性がある。
• 社会的ネットワーク、生物学的システム、コンピュータネットワークなどの多様な分野に適用可能な統合的かつ再利用可能な検証フレームワークを開発する。
• 検証と検証を、シミュレーション開発ライフサイクルの初期段階から統合する。後から追加するのではなく、最初から組み込む。
• 外見的妥当性、仮定の検証、入出力変換のチェックを同時に可能にする、体系的でオブジェクト指向の手法を提供する。

提案手法

• エージェントベースのシミュレーションモデルの上に、別々のレイヤーとして仮想オーバーレイマルチエージェントシステム（VOMAS）を構築する。
• シミュレーション実行をリアルタイムで監視するための特別なVOMASエージェント（VOマネージャ、ロガー、ウォッチ、不変性エージェントなど）を導入する。
• 分野固有の制約を表す形式的な不変性を定義する。違反は自動的に記録され、アラートが発行される。
• ウォッチエージェントを用いて特定の状態変数（例：出版数、しきい値）を監視し、分析に備えて値を記録する。
• ログ記録とアニメーション機能を統合し、定量的および視覚的検証を両立させる。
• NetLogoベースの研究者による出版行動のモデルを事例として用い、政策の影響や出版しきい値の検証にフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 エージェントベースのシミュレーションを、専門家の直感や後向き分析に依存せずに、多様な分野で体系的に検証する方法は何か？
• RQ2 エージェントベースのモデルの分野や複雑さに関係なく、一貫した再利用可能なフレームワークを設計できるか？
• RQ3 自動不変性チェックとリアルタイムログ記録が、エージェントベースのシミュレーションの信頼性と信頼性をどの程度向上させられるか？
• RQ4 統一的なソフトウェア工学的手法を用いて、外見的妥当性、モデルの仮定、入出力挙動を同時に検証できるか？
• RQ5 VOMASは、社会的またはネットワークシミュレーションのような複雑で出現的なシステムにおいて、論理的不整合や意図しない挙動を効果的に検出できるか？

主な発見

• VOMASフレームワークは、研究者による出版シミュレーションモデルを成功裏に検証した。具体的には、ジャーナル志向の研究者が少なくとも10本の出版を達成したかを検証し、シミュレーションが早期に終了した場合には違反を記録した。
• ウォッチエージェントの使用により、最良の政策を採用している研究者の数や総出版数といった主要指標をリアルタイムで追跡でき、動的分析が可能になった。
• 不変性に基づく検証により、シミュレーション実行中に重要な行動的制約が破られないことを形式的に保証するメカニズムが提供された。
• フレームワークは、空間的でないモデルを含め、社会科学やコンピュータネットワークシミュレーションなど、広範な分野に適応可能であることが示された。
• オブジェクト指向アーキテクチャ内でログ記録、アニメーション、不変性チェックを統合することで、自動化と専門家主導の両方を支援する包括的な検証パイプラインが実現された。