[論文レビュー] WES: Agent-based User Interaction Simulation on Real Infrastructure

John Ahlgren, Maria Eugenia Berezin+10 more|arXiv (Cornell University)|Apr 11, 2020

Software Engineering Research参考文献 43被引用数 4

ひとこと要約

本論文は、実際のプラットフォームインフラを用いてエージェントベースのボットによりユーザーコミュニティをシミュレートする、Web-Enabled Simulation (WES) という新しい研究アジェンダを紹介する。これにより、スケーラブルで隔離された社会的相互作用のテストが可能となり、Facebookのプラットフォームのような数十億行のコードを含む大規模システムにおける信頼性、整合性、プライバシーの向上が図られる。

ABSTRACT

We introduce the Web-Enabled Simulation (WES) research agenda, and describe FACEBOOK's WW system. We describe the application of WW to reliability, integrity and privacy at FACEBOOK , where it is used to simulate social media interactions on an infrastructure consisting of hundreds of millions of lines of code. The WES agenda draws on research from many areas of study, including Search Based Software Engineering, Machine Learning, Programming Languages, Multi Agent Systems, Graph Theory, Game AI, and AI Assisted Game Play. We conclude with a set of open problems and research challenges to motivate wider investigation.

研究の動機と目的

• 大規模ソフトウェアプラットフォームにおける複雑なユーザ相互作用に起因する社会的バグの増加という課題に対処すること。
• 抽象的モデルに依存せず、実際のプラットフォームインフラを活用するシミュレーションフレームワークの開発。これにより、現実性と忠実度が向上する。
• 社会的バグの発生やシステム全体の改善を狙った、新たなテストパラダイム（社会的テストと自動メカニズム設計）の導入。
• ソフトウェア工学、AI、ゲーム理論、マルチエージェントシステムの交差分野における研究を促進し、コミュニティレベルのシステム行動分析を目的とする。

提案手法

• 各エージェントがルールベースまたは教師あり学習・強化学習を用いて学習した行動をシミュレートするボットであるマルチエージェントシステムを採用。
• 実際の本番環境インフラ（例：Facebookのコードベース）上でシミュレーションを実行することで、ライブユーザーとは隔離されているものの、プラットフォームの現実性を保証。
• 実ユーザーとの意図しない相互作用を回避するため、代表的で隔離されたソーシャルネットワークを生成する合成グラフ生成技術を活用。
• 探索ベースソフトウェア工学（SBSE）とメカニズム設計を適用し、共進化的最適化によってシステム改善の自動発見を実現。
• ゲーム理論的モデリングを導入し、WES実行を戦略的相互作用として分析することで、発生的行動の形式的分析を可能にする。
• ボットが現実には実行できない、あるいは禁止された行動を安全で隔離された環境で探索できる、反事後的シミュレーションをサポート。

実験結果

リサーチクエスチョン

• RQ1 抽象的モデルに依存せずに、現実のソフトウェアインフラを活用して複雑なユーザ相互作用をシミュレートする方法は何か？
• RQ2 システムレベルの動作ではなく、ユーザ同士の相互作用に焦点を当てた場合、どのような新しいテスト抽象化が生じるか？
• RQ3 シミュレーション駆動の最適化を通じて、自動メカニズム設計が、整合性やプライバシーといったプラットフォーム特性をどの程度改善できるか？
• RQ4 合成グラフ生成技術は、実ユーザーの隔離を損なわず、完全に隔離されたライターボットのスケーラブルなシミュレーションをどのように可能にするか？
• RQ5 因果関係は、シミュレーションの知見を現実世界のシステム強化に具体的に応用するために、どのような役割を果たすか？

主な発見

• WESアプローチにより、実プラットフォームインフラ上でボットを実行することで、システムレベルの動作やエッジケースを保持した高忠実度のソーシャルメディア相互作用シミュレーションが可能となった。
• 社会的テストは、システムレベルのテストの上位に位置する新たな抽象化レイヤーとして登場し、従来のテストでは見逃される発生的ソーシャルバグの検出を可能にした。
• SBSEとメカニズム設計を統合した自動メカニズム設計は、シミュレーション内でプラットフォームポリシーと相互作用の改善策を効果的に同定した。
• 合成グラフ生成により、隔離制約に反しない任意の行動を探索可能な完全に隔離されたライターボットのデプロイが可能となった。
• WESシミュレーションにゲーム理論と因果推論を統合することで、形式的分析と現実世界のシステム強化に役立つ具体的な知見が得られた。
• 本アプローチはソーシャルメディアにとどまらず、MSRからの抽出技術を用いた開発者コミュニティやソフトウェアエコシステムのシミュレーションにも応用可能であり、拡張性を有する。