[논문 리뷰] AI in Software Engineering: Case Studies and Prospects

Lei Wang|arXiv (Cornell University)|2023. 09. 27.

IoT and Edge/Fog ComputingComputer Science인용 수 3

한 줄 요약

이 논문은 인공지능 기술—특히 딥 러닝과 강화 학습—이 소프트웨어 공학을 어떻게 향상시키는지 탐구하기 위해 IBM 워즈턴과 구글 알파고를 사례 연구로 분석한다. 워즈턴은 지식 기반 분석을 통해 인간의 의사결정을 지원하는 반면, 알파고는 신경망과 자기대국을 통해 자율적인 의사결정을 실현하며, 인간의 능력 이상으로 복잡한 실생활 문제를 해결할 수 있는 인공지능의 잠재력을 입증한다.

ABSTRACT

Artificial intelligence (AI) and software engineering (SE) are two important areas in computer science. In recent years, researchers are trying to apply AI techniques in various stages of software development to improve the overall quality of software products. Moreover, there are also some researchers focus on the intersection between SE and AI. In fact, the relationship between SE and AI is very weak; however, methods and techniques in one area have been adopted in another area. More and more software products are capable of performing intelligent behaviour like human beings. In this paper, two cases studies which are IBM Watson and Google AlphaGo that use different AI techniques in solving real world challenging problems have been analysed, evaluated and compared. Based on the analysis of both case studies, using AI techniques such as deep learning and machine learning in software systems contributes to intelligent systems. Watson adopts 'decision making support' strategy to help human make decisions; whereas AlphaGo uses 'self-decision making' to choose operations that contribute to the best outcome. In addition, Watson learns from man-made resources such as paper; AlphaGo, on the other hand, learns from massive online resources such as photos. AlphaGo uses neural networks and reinforcement learning to mimic human brain, which might be very useful in medical research for diagnosis and treatment. However, there is still a long way to go if we want to reproduce human brain in machine and view computers as thinkers, because human brain and machines are intrinsically different. It would be more promising to see whether computers and software systems will become more and more intelligent to help with real world challenging problems that human beings cannot do.

연구 동기 및 목표

• 소프트웨어 품질 향상과 개발 효율성 향상을 위해 인공지능 기술의 소프트웨어 공학 통합을 검토하기 위해.
• 실제 사례 연구를 통해 IBM 워즈턴과 구글 알파고의 인공지능 응용 사례를 분석하여 복잡한 문제 해결에 대한 인공지능의 역할을 분석하기 위해.
• 지능형 소프트웨어 시스템에서 의사결정 지원 전략과 자율 의사결정 전략 간의 차이를 비교하기 위해.
• 인공지능 시스템의 학습 원천(인간이 만든 자료 대비 온라인 데이터)이 소프트웨어 응용 분야의 인공지능 시스템 훈련에 미치는 영향을 평가하기 위해.
• 인간의 능력 이상의 문제를 해결할 수 있는 소프트웨어 공학 분야에서 인공지능의 미래 잠재력을 탐색하기 위해.

제안 방법

• 소프트웨어 공학 분야의 대표적인 인공지능 시스템으로서 IBM 워즈턴과 구글 알파고를 대비 분석하였다.
• 질문에 대한 답변을 위해 소스 신뢰성, 시간, 지리적 요소를 평가하기 위해 다중 알고리즘을 통합한 워즈턴의 DeepQA 사용을 평가하였다.
• Go 게임에서 정책 네트워크와 가치 네트워크를 위해 딥 뉴럴 네트워크와 몬테카를로 트리 검색을 사용한 알파고의 아키텍처를 분석하였다.
• 학습 메커니즘 대비: 워즈턴은 인간이 작성한 문서 등의 정제된 지식에서 훈련되었고, 알파고는 광범위한 자기대국과 게임 데이터에서 학습하였다.
• 질적이고 비교적 평가를 통해 두 시스템의 의사결정 자율성과 학습 전략을 평가하였다.
• 신경망 기반 인공지능이 의료 진단 및 자율 시스템과 같은 분야의 미래 소프트웨어 시스템에 미치는 영향을 탐구하였다.

실험 결과

연구 질문

• RQ1 딥 러닝과 강화 학습과 같은 인공지능 기술이 실생활 응용에서 소프트웨어 시스템을 어떻게 향상시키는가?
• RQ2 IBM 워즈턴(의사결정 지원)과 구글 알파고(자율 의사결정) 간의 의사결정 전략 차이는 무엇인가?
• RQ3 정제된 인간 지식과 대량의 온라인 데이터라는 학습 원천이 인공지능 시스템의 성능과 적응 가능성에 어떤 영향을 미치는가?
• RQ4 인공지능 시스템은 체스나 의료 진단과 같은 복잡하고 고위험 도메인에서 인간 지능을 어느 정도 모방할 수 있는가?
• RQ5 현재 인공지능 시스템이 인간의 뇌 功能을 완전히 재현하는 데에 제한되는 점은 무엇이며, 향후 소프트웨어 공학에 어떤 영향을 미치는가?

주요 결과

• IBM 워즈턴은 정제된 인간이 만든 자료(예: 문서)에서 정보를 분석하여 답변에 대한 신뢰도 점수와 특징을 생성함으로써 의사결정 지원 전략을 사용한다.
• 구글 알파고는 딥 뉴럴 네트워크와 강화 학습을 통해 자율적인 의사결정을 실현하여 인간의 간섭 없이 게임 오목을 완전히 습득한다.
• 알파고는 게임 사진과 자기대국 게임을 포함한 대량의 온라인 데이터에서 학습하여 인간 전문 지식을 초월한 새로운 전략을 발견할 수 있다.
• 소프트웨어 시스템에 딥 러닝과 강화 학습을 통합하면 지능적이고 적응 가능한 의사결정 능력이 크게 향상된다.
• 진전이 있음에도 불구하고, 인간의 뇌와 기계 간의 근본적인 차이—예를 들어 병렬 처리와 자율 조직화—는 인간 인지 기능을 소프트웨어에서 완전히 재현하는 데에 한계를 가진다.
• 소프트웨어 공학 분야에서 인공지능 기술은 인간이 단독으로 해결하기 어려운 복잡한 실생활 문제를 해결할 잠재력이 높으며, 특히 의료 진단 및 자율 시스템 분야에서 두드러진다.