[论文解读] AI in Software Engineering: Case Studies and Prospects

Lei Wang|arXiv (Cornell University)|Sep 27, 2023

IoT and Edge/Fog ComputingComputer Science被引用 3

一句话总结

本文以IBM Watson和Google AlphaGo为案例研究，探讨人工智能技术（尤其是深度学习和强化学习）如何通过赋能智能系统来提升软件工程水平。研究发现，Watson通过基于知识的分析支持人类决策，而AlphaGo则通过神经网络和自我对弈实现自主决策，展示了人工智能在超越人类能力范围的复杂现实问题求解方面的潜力。

ABSTRACT

Artificial intelligence (AI) and software engineering (SE) are two important areas in computer science. In recent years, researchers are trying to apply AI techniques in various stages of software development to improve the overall quality of software products. Moreover, there are also some researchers focus on the intersection between SE and AI. In fact, the relationship between SE and AI is very weak; however, methods and techniques in one area have been adopted in another area. More and more software products are capable of performing intelligent behaviour like human beings. In this paper, two cases studies which are IBM Watson and Google AlphaGo that use different AI techniques in solving real world challenging problems have been analysed, evaluated and compared. Based on the analysis of both case studies, using AI techniques such as deep learning and machine learning in software systems contributes to intelligent systems. Watson adopts 'decision making support' strategy to help human make decisions; whereas AlphaGo uses 'self-decision making' to choose operations that contribute to the best outcome. In addition, Watson learns from man-made resources such as paper; AlphaGo, on the other hand, learns from massive online resources such as photos. AlphaGo uses neural networks and reinforcement learning to mimic human brain, which might be very useful in medical research for diagnosis and treatment. However, there is still a long way to go if we want to reproduce human brain in machine and view computers as thinkers, because human brain and machines are intrinsically different. It would be more promising to see whether computers and software systems will become more and more intelligent to help with real world challenging problems that human beings cannot do.

研究动机与目标

• 考察人工智能技术在软件工程中的整合，以提升软件质量和开发效率。
• 通过IBM Watson和Google AlphaGo的案例研究，分析人工智能在复杂问题求解中的实际应用。
• 比较智能软件系统中不同人工智能策略——决策支持与自主决策——的差异。
• 评估学习来源（人工创建的数据与在线数据）在训练人工智能系统用于软件应用中的作用。
• 探索人工智能在未来软件工程中解决人类能力范围之外问题的潜力。

提出的方法

• 对IBM Watson和Google AlphaGo作为软件工程中代表性人工智能系统的比较分析。
• 评估Watson使用的DeepQA技术，该技术结合多种算法以评估来源可靠性、时间与地理位置，用于问答任务。
• 分析AlphaGo的架构，其使用深度神经网络和蒙特卡洛树搜索来构建策略网络和价值网络，以实现围棋游戏中的决策。
• 对比学习机制：Watson基于人工整理的文本资料（如文档）进行训练，而AlphaGo则通过海量自我对弈和游戏数据进行学习。
• 采用定性与比较评估方法，分析两种系统在决策自主性与学习策略方面的表现。
• 探讨基于神经网络的人工智能对未来软件系统在医疗诊断和自主系统等领域的潜在影响。

实验结果

研究问题

• RQ1 深度学习和强化学习等人工智能技术在现实应用中如何增强软件系统？
• RQ2 IBM Watson（决策支持）与Google AlphaGo（自主决策）在决策策略上存在哪些差异？
• RQ3 学习来源（人工整理的知识与海量在线数据）如何影响人工智能系统的性能与适应性？
• RQ4 人工智能系统在游戏和医疗诊断等复杂高风险领域中，能在多大程度上模拟人类智能？
• RQ5 当前人工智能系统在复制人类大脑功能方面的局限性是什么？这对未来软件工程有何影响？

主要发现

• IBM Watson采用决策支持策略，通过分析来自人工整理的文档等人类创建的资料，生成答案的置信度分数和特征。
• Google AlphaGo通过深度神经网络和强化学习实现自主决策，使其能够在无人干预的情况下掌握围棋游戏。
• AlphaGo从海量在线数据（包括棋局照片和自我对弈游戏）中学习，从而发现超越人类专家水平的新策略。
• 在软件系统中整合深度学习与强化学习，显著提升了其进行智能、自适应决策的能力。
• 尽管已取得进展，但人类大脑与机器在并行性与自组织性等方面的本质差异，仍限制了在软件中完全复刻人类认知能力。
• 人工智能技术在软件工程中展现出强大潜力，可解决人类单独难以应对的复杂现实问题，尤其在医疗诊断和自主系统等领埴。