[논문 리뷰] Artificial Intelligence in Software Testing : Impact, Problems, Challenges and Prospect

Zubair Khaliq, Sheikh Umar Farooq외 1명|arXiv (Cornell University)|2022. 01. 14.

Anomaly Detection Techniques and Applications인용 수 25

한 줄 요약

AI 기법이 STLC 전반의 소프트웨어 테스트에 미치는 영향에 대한 조사로, 주요 활동, 기법, 도전과제 및 향후 전망을 문서화합니다.

ABSTRACT

Artificial Intelligence (AI) is making a significant impact in multiple areas like medical, military, industrial, domestic, law, arts as AI is capable to perform several roles such as managing smart factories, driving autonomous vehicles, creating accurate weather forecasts, detecting cancer and personal assistants, etc. Software testing is the process of putting the software to test for some abnormal behaviour of the software. Software testing is a tedious, laborious and most time-consuming process. Automation tools have been developed that help to automate some activities of the testing process to enhance quality and timely delivery. Over time with the inclusion of continuous integration and continuous delivery (CI/CD) pipeline, automation tools are becoming less effective. The testing community is turning to AI to fill the gap as AI is able to check the code for bugs and errors without any human intervention and in a much faster way than humans. In this study, we aim to recognize the impact of AI technologies on various software testing activities or facets in the STLC. Further, the study aims to recognize and explain some of the biggest challenges software testers face while applying AI to testing. The paper also proposes some key contributions of AI in the future to the domain of software testing.

연구 동기 및 목표

• AI가 프로세스에 상당한 영향을 미친 소프트웨어 테스트 활동을 식별한다.
• 소프트웨어 테스트에 가장 널리 적용되는 AI 기법과 그 이점을 요약한다.
• 테스트에 AI를 적용할 때 테스터가 직면하는 주요 도전과제를 강조한다.
• 소프트웨어 테스트 영역에서의 향후 AI 기여 및 방향을 제안한다.

제안 방법

• 소프트웨어 테스트에서의 AI에 관한 기존 문헌을 검토하고 합성한다.
• 각 STLC 활동에 사용되는 AI 기법을 분류한다(예: 테스트 케이스 생성, 테스트 데이터 생성, 테스트 오라클).
• AI 접근법을 테스트 결과 및 비용에 매핑한다.
• AI 기반 테스트 솔루션의 배포와 관련한 남아 있는 문제와 실무적 도전과제를 논의한다.
• AI 도구가 가장 큰 영향을 미친 영역에 대한 통합적 관점을 제시한다.

실험 결과

연구 질문

• RQ1 어떤 소프트웨어 테스트 활동에서 AI 기반 개선이 나타나는가?
• RQ2 소프트웨어 테스트에 가장 일반적으로 적용되는 AI 기법은 무엇이며 어떤 목적을 위한 것인가?
• RQ3 소프트웨어 테스트에 AI를 적용할 때의 주요 도전과제와 한계는 무엇인가?
• RQ4 소프트웨어 테스트에 가장 전망 있는 향후 AI 기여는 무엇인가?
• RQ5 AI가 STLC 전반의 테스트 효율성과 품질에 어떤 영향을 미치는가?

주요 결과

소프트웨어 테스트 활동	적용된 AI 기법
테스트 케이스 생성	Inductive Learning - Active Learning - Ant Colony Optimization - Markov Model - AI Planner - GA - Tabu Search - NLP - Reinforcement Learning - C4.5 - Goal Based - Decision Tree - K-Nearest Neighbor - Logistic Regression - Random Forest - Multilayer Perceptron - K Star - LSTM - Heuristic Search
테스트 데이터 생성	GA - Simulated Annealing - Hill Climbing - Generative Model - LSTM - Deep Reinforcement Learning - Ant Colony Optimization - Heuristic Methods
테스트 오라클 구성	ANN - SVM - Decision Trees - AdaBoostM1 - Incremental Reduced Error Pruning (IREP) - Info Fuzzy Network
테스트 케이스 우선순위 결정	K-Means - Expectation-Maximization - C4.5 - Cob Web - Reinforcement Learning - CBR - ANN - Markov Model - K-NN - Logistic Regression - SVM Rank
테스트 케이스 명세	IFN - C4.5
테스트 케이스 정제	IFN - Classification Tree Method

• AI 기법은 테스트 케이스 생성, 테스트 오라클 구성, 테스트 데이터 생성, 테스트 케이스 우선순위 결정, 테스트 케이스 명세, 테스트 케이스 정제, 그리고 테스트 비용 추정의 일곱 가지 소프트웨어 테스트 활동에 상당한 영향을 미쳤다.
• 테스트 케이스 생성, 테스트 케이스 우선순위 결정, 테스트 데이터 생성, 그리고 테스트 오라클 구성은 AI 주도 연구와 이익이 가장 많은 영역이다.
• 최적화에 초점을 둔 AI 방법들(예: 유전 알고리즘, 인공 신경망, 강화 학습)이 테스트 활동 전반에서 가장 자주 나타난다.
• AI 기반 테스트는 증가하는 소프트웨어 복잡도와 납기 관리의 필요성에 의해 촉진되며, 시간, 노력 및 비용을 줄이는 것을 목표로 한다.
• AI를 테스트에 적용할 때 지속적이고 중심적인 도전 과제는 테스트 오라클 문제로 알려져 있다.
• 테스트에서의 AI 적용은 데이터 품질, 모델 일반화, 기존 워크플로우에의 통합과 같은 실용적 이슈도 마주한다.