[논문 리뷰] A/B Testing: A Systematic Literature Review

Federico Quin, Danny Weyns외 2명|arXiv (Cornell University)|2023. 08. 09.

Software Engineering Research인용 수 6

한 줄 요약

이 체계적 문헌 리뷰는 소프트웨어 공학 분야의 A/B 테스트 연구 현황을 맵핑하기 위해 141개의 주요 연구를 분석한다. 연구는 핵심 대상(알고리즘, 시각적 요소, 워크플로우), 주로 사용되는 테스트 유형(가설 검증을 활용한 고전적 A/B 테스트), 이해관계자 역할(디자이너, 아키텍트, 기술자, 조율자, 평가자), 수거되는 데이터 유형(제품, 사용자 중심, 시공간적), 그리고 결과의 일반적 활용(기능 선택 및 롤아웃)을 규명한다. 본 연구는未래 연구 방향으로 통계 방법 향상, A/B 테스트 프로세스 개선, 자동화 증대를 제안한다.

ABSTRACT

In A/B testing two variants of a piece of software are compared in the field from an end user's point of view, enabling data-driven decision making. While widely used in practice, no comprehensive study has been conducted on the state-of-the-art in A/B testing. This paper reports the results of a systematic literature review that analyzed 141 primary studies. The results shows that the main targets of A/B testing are algorithms and visual elements. Single classic A/B tests are the dominating type of tests. Stakeholders have three main roles in the design of A/B tests: concept designer, experiment architect, and setup technician. The primary types of data collected during the execution of A/B tests are product/system data and user-centric data. The dominating use of the test results are feature selection, feature rollout, and continued feature development. Stakeholders have two main roles during A/B test execution: experiment coordinator and experiment assessor. The main reported open problems are enhancement of proposed approaches and their usability. Interesting lines for future research include: strengthen the adoption of statistical methods in A/B testing, improving the process of A/B testing, and enhancing the automation of A/B testing.

연구 동기 및 목표

• A/B 테스트 연구의 현재 최신 기술 상태에 대한 종합적이고 경험 기반의 개괄을 제공하기 위해.
• 연구 관점에서 A/B 테스트의 주요 대상, 설계 패턴, 실행 방식 및 이해관계자 역할을 규명하기 위해.
• A/B 테스트 분야의 개방된 과제와 연구 격차를 밝혀내어 향후 학술적 및 산업적 연구를 안내하기 위해.
• 실무자들이 A/B 테스트 프로세스 및 도구 개선 기회를 식별할 수 있도록 지원하기 위해.

제안 방법

• 주요 컴퓨터 과학 디지털 라이브러리에서 정의된 검색 문자열을 사용해 체계적 문헌 리뷰를 수행하였다.
• 141개의 주요 연구를 선정하기 위해 포함 및 배제 기준을 적용하였으며, 단기, 데모, 로드맵 논문은 제외하였다.
• 연구 신뢰성 확보 및 편향 감소를 위해 품질 평가 체계(≤4점 이하의 연구는 제외)를 도입하였다.
• A/B 테스트 대상, 설계, 실행, 이해관계자 역할, 데이터 유형, 결과 활용 방식에 대한 데이터 추출을 수행하였다.
• 외부 타당성 향상과 데이터 검색 편향 감소를 위해 스노우볼링 및 교차 확인 기법을 적용하였다.
• 주제 분석 기반으로 개방된 문제를 분류하고, 연구 결과에서 향후 연구 방향을 도출하였다.

실험 결과

연구 질문

• RQ1 소프트웨어 시스템에서 A/B 테스트의 주요 대상은 무엇인가요?
• RQ2 실제로 A/B 테스트는 어떻게 설계되고 실행되며, 이해관계자들은 어떤 역할을 하나요?
• RQ3 A/B 테스트 중에 수거되는 데이터 유형은 무엇이며, 결과는 어떻게 활용되나요?
• RQ4 문헌에서 보고된 주요 개방 과제와 제한 사항은 무엇인가요?
• RQ5 A/B 테스트 분야에서 가장 유망한未래 연구 방향은 무엇인가요?

주요 결과

• 가장 흔한 A/B 테스트 대상은 알고리즘, 시각적 요소, 워크플로우 또는 프로세스 변경이며, 웹, 검색 엔진, 이커머스 분야가 가장 흔한 적용 분야이다.
• 두 변형을 사용하는 고전적 A/B 테스트가 지배적이며, 주로 결과 분석에 가설 검증을 활용한다. 일부 연구에서는 부트스트랩핑 기법이 관심을 끌고 있다.
• 설계 단계에서 이해관계자들은 세 가지 역할을 수행한다: 개념 설계자, 실험 아키텍트, 설정 기술자이며, 실행 단계에선 두 가지 역할이 있다: 실험 조율자, 실험 평가자.
• 가장 흔히 수거되는 데이터 유형은 제품/시스템 데이터, 사용자 중심 데이터, 시공간적 데이터이며, 이는 기본 지표를 넘어서 깊이 있는 분석을 가능하게 한다.
• 테스트 결과는 주로 기능 선택, 점진적 기능 롤아웃, 지속적 개발, 후속 A/B 테스트 설계에 활용된다.
• 일곱 가지 카테고리의 개방 문제를 규명하였으며, 이는 제안된 접근법 향상, 평가 및 분석 향상, A/B 테스트 프로세스의 자동화 및 확장성 증대를 포함한다.