[논문 리뷰] WES: Agent-based User Interaction Simulation on Real Infrastructure

John Ahlgren, Maria Eugenia Berezin외 10명|arXiv (Cornell University)|2020. 04. 11.

Software Engineering Research참고 문헌 43인용 수 4

한 줄 요약

이 논문은 웹 기반 시뮬레이션(Web-Enabled Simulation, WES)을 소개한다. WES는 실제 플랫폼 인프라를 활용해 에이전트 기반 봇을 통해 사용자 커뮤니티를 시뮬레이션함으로써, 사회적 상호작용의 스케일러블하고 고립된 테스팅을 가능하게 하는 새로운 연구 방향이다. 이 방법은 사회적 테스팅과 자동 메커니즘 설계를 가능하게 하여, 수백만 줄의 코드를 포함한 페이스북 플랫폼과 같은 대규모 시스템에서 신뢰성, 무결성, 기밀성 향상에 기여한다.

ABSTRACT

We introduce the Web-Enabled Simulation (WES) research agenda, and describe FACEBOOK's WW system. We describe the application of WW to reliability, integrity and privacy at FACEBOOK , where it is used to simulate social media interactions on an infrastructure consisting of hundreds of millions of lines of code. The WES agenda draws on research from many areas of study, including Search Based Software Engineering, Machine Learning, Programming Languages, Multi Agent Systems, Graph Theory, Game AI, and AI Assisted Game Play. We conclude with a set of open problems and research challenges to motivate wider investigation.

연구 동기 및 목표

• 대규모 소프트웨어 플랫폼에서 복잡한 사용자 상호작용으로 인해 발생하는 사회적 버그의 증가하는 도전에 대응하기 위해.
• 추상 모델이 아닌 실제 플랫폼 인프라를 활용하는 시뮬레이션 프레임워크를 개발하여 현실성과 정밀도를 향상시키기 위해.
• 유생현상과 체계적 개선을 대상으로 하는 새로운 테스팅 패러다임인 사회적 테스팅과 자동 메커니즘 설계를 도입하기 위해.
• 소프트웨어 공학, 인공지능, 게임 이론, 다중에이전트 시스템 간의 융합 연구를 장려하여 커뮤니티 수준의 시스템 행동 분석에 기여하기 위해.

제안 방법

• 각 에이전트가 규칙 기반 또는 지도학습 또는 강화학습을 통해 사용자 행동을 시뮬레이션하는 다중에이전트 시스템을 활용한다.
• 실제 운영 인프라(예: 페이스북의 코드베이스)에서 시뮬레이션을 실행함으로써, 실사용자로부터의 고립에도 불구하고 플랫폼의 현실성을 유지한다.
• 작성자 봇을 위한 대표성 있고 고립된 사회적 네트워크를 생성하기 위해 합성 그래프 생성 기법을 사용하여 실제 사용자와의 뜻하지 않은 상호작용을 방지한다.
• 검색 기반 소프트웨어 공학(SBSE)과 메커니즘 설계를 적용하여 공진화 최적화를 통해 시스템 개선 사항을 자동으로 탐색한다.
• 게임 이론적 모델링을 통합하여 WES 실행을 전략적 상호작용으로 간주함으로써, 발생하는 행동의 형식적 분석을 가능하게 한다.
• 비현실적이거나 금지된 행동을 안전하고 고립된 환경에서 봇이 탐색할 수 있도록 가능하게 함으로써 반사적(Counter-factual) 시뮬레이션을 지원한다.

실험 결과

연구 질문

• RQ1 어떻게 실제 소프트웨어 인프라를 활용하여 추상 모델에 의존하지 않고 복잡한 사용자 상호작용을 시뮬레이션할 수 있는가?
• RQ2 시스템 수준의 행동이 아닌 사용자 간 상호작용에 집중할 경우 어떤 새로운 테스팅 추상화가 도출되는가?
• RQ3 자동 메커니즘 설계가 시뮬레이션 기반 최적화를 통해 무결성과 기밀성과 같은 플랫폼 성질을 얼마나 향상시킬 수 있는가?
• RQ4 합성 그래프 생성 기법을 통해 실제 사용자 고립을 해치지 않으면서도 안전하고 대규모의 작성자 봇 시뮬레이션을 어떻게 가능하게 할 수 있는가?
• RQ5 원인관계 분석은 시뮬레이션 통찰을 실질적인 시스템 개선 조치로 번역하는 데 어떤 역할을 하는가?

주요 결과

• WES 접근법은 실제 플랫폼 인프라에서 봇을 실행함으로써 시스템 수준의 행동과 귀두 사례를 유지하면서 사회적 미디어 상호작용의 고정밀 시뮬레이션을 가능하게 한다.
• 사회적 테스팅은 기존의 시스템 수준 테스팅 위에 새로운 추상화 계층으로 부상하여, 전통적 테스팅이 놓치는 발생적 사회적 버그 탐지에 기여한다.
• SBSE와 메커니즘 설계를 융합한 자동 메커니즘 설계는 시뮬레이션에서 플랫폼 정책과 상호작용의 개선 사항을 성공적으로 식별한다.
• 합성 그래프 생성은 고립 조건을 위반하지 않으면서도 임의의 행동을 탐색할 수 있는 완전히 고립된 작성자 봇 배치를 가능하게 한다.
• WES 시뮬레이션에 게임 이론과 인과관계 분석을 통합함으로써 형식적 분석과 실질적인 통찰을 도출할 수 있으며, 실세계 시스템의 강화에 기여한다.
• 이 접근법은 소셜 미디어를 넘어 개발자 커뮤니티와 소프트웨어 생태계를 시뮬레이션하는 데도 확장 가능하며, MSR에서 얻은 채굴 기법을 활용할 수 있다.