[논문 리뷰] Is AI different for SE

Amritanshu Agrawal, Tim Menzies|arXiv (Cornell University)|2019. 12. 09.

Software Engineering Research참고 문헌 61인용 수 4

한 줄 요약

이 논문은 소프트웨어 공학(SE)을 위한 AI 도구가 일반 목적의 AI 도구와 본질적으로 다른지 조사한다. 120개의 데이터셋(예: 결함 예측, 버그 보고서 분석 등 SE 전용 작업 포함)을 대상으로 SE 최적화 도구를 테스트한 결과, 희귀하고 드문 문제(예: 에지 케이스 버그)에서는 SE 도구가 일반 AI 방법보다 뛰어난 성능을 보였지만, 일반적인 AI 벤치마크에서는 실패함을 확인함. 핵심 기여는 단순한 규칙: 희귀한 사건을 다룰 때는 SE 전용 도구를 사용하고, 목표가 빈번할 경우 이를 피하는 것. 이는 SE의 고유한 데이터 특성에 맞는 AI 도구 개발의 필요성을 강조함.

ABSTRACT

What AI tools are needed for SE? Ideally, we should have simple rules that peek at data, then say use this or use that To find such a rule, we explored 120 different data sets addressing numerous problems, including bad smell detection, predicting Github issue close time, bug report analysis, defect prediction and dozens of other non-SE problems. To this data, we apply a SE-based tool that (a)~out-performs the state-of-the-art for these SE problems yet (b)~fails very badly on standard AI problems. In those results, we can find a simple rule for when to use/avoid the SE-based tool. SE data is often about infrequent issues, like the occasional defect, or the rarely exploited security violation, or the requirement that holds for one special case. But as we show, standard AI tools work best when the target is relatively more frequent. Also, we can exploit these special properties of SE, to great effect (to rapidly find better optimizations for SE tasks via a tactic called dodging, explained in this paper). More generally, this result says we need a new kind of SE research for developing new AI tools that are more suited to SE problems.

연구 동기 및 목표

• 소프트웨어 공학(SE)을 위한 AI 도구가 일반 목적의 AI 도구와 유의미하게 다른지 확인하는 것.
• SE 전용 도구가 일반 AI 접근 방식보다 우월하거나 열등한 조건을 규명하는 것.
• SE 문제와 일반적인 AI 문제와를 구분짓는 데 기여하는 데이터 특성의 근본 원인을 밝히는 것.
• 데이터 특성에 기반해 SE 기반 도구와 일반 AI 도구 사이에서 선택하는 단순한 의사결정 규칙을 개발하는 것.
• 희귀 사건 탐지에 특화된 SE 전용 도구 개발을 위한 새로운 연구 방향을 제안하는 것.

제안 방법

• SE 최적화 도구를 SE 작업(예: 결함 예측, 이슈 닫힘 시간 예측 등)과 비SE 문제를 포함한 120개의 다양한 데이터셋에서 평가함.
• SE 도구의 성능을 SE 및 비SE 데이터셋에서 최신 기술의 AI 모델과 비교함.
• SE 도구가 희귀한 목표 이벤트(예: 희귀한 결함, 에지 케이스 위반)가 있는 작업에서 뛰어난 성능을 보이며, 목표가 더 빈번한 표준 AI 벤치마크에서는 실패함을 확인함.
• 의사결정 규칙 제안: 목표 이벤트가 희귀할 경우 SE 기반 도구를 사용하고, 목표가 비교적 빈번할 경우 회피할 것.
• SE 데이터의 고유한 특성을 활용하여 성능을 급격히 향상시키는 새로운 최적화 기법인 '도지잉'(dodging)을 도입함.
• 클래스 불균형과 이벤트 희귀성 등의 데이터 특성을 분석하여, SE 도구와 일반 AI 도구 간의 성능 격차를 설명함.

실험 결과

연구 질문

• RQ1 SE 최적화 AI 도구가 일반 목적의 AI 모델보다 우월한 조건은 무엇인가?
• RQ2 이벤트 빈도와 클래스 불균형과 같은 데이터 특성이 SE 전용 도구와 일반 AI 도구의 성능에 미치는 영향는 어떠한가?
• RQ3 희귀한 사건 탐지에 특화된 도구를 사용할지 여부를 결정하는 단순한 규칙를 도출할 수 있는가?
• RQ4 SE 데이터가 일반적인 AI 학습 데이터와 본질적으로 다른 특성은 무엇인가?
• RQ5 SE 데이터의 고유한 특성을 어떻게 활용하여 도구 성능을 향상시킬 수 있는가? 이는 '도지잉' 기법을 통해 입증됨.

주요 결과

• SE 기반 도구는 결함 예측 및 버그 보고서 분석과 같은 SE 전용 작업에서 최신 기술의 AI 모델보다 뚜렷이 뛰어난 성능을 보임.
• SE 문제에서의 뛰어난 성능에도 불구하고, 표준 AI 벤치마크에서는 성능이 열악하여 일반 AI 데이터 분포와의 불일치를 시사함.
• 핵심 차별 요소는 이벤트 빈도: SE 도구는 희귀한 이벤트(예: 드문 결함)에서 뛰어나지만, 일반 AI 도구는 더 빈번한 목표에서 더 우수한 성능을 보임.
• 단순한 규칙이 도출됨: 목표 이벤트가 희귀할 경우 SE 기반 도구를 사용하고, 목표가 비교적 흔할 경우 회피할 것.
• '도지잉' 최적화 전략은 SE 데이터의 고유한 특성(예: 드물지만 중요한 문제)을 활용하여 도구 성능을 효과적으로 향상시킴.
• 결과적으로 일반 목적의 AI 도구는 빈번하고 균형 잡힌 데이터에 의존하므로 많은 SE 문제에 부적합하며, 이는 희귀 사건 탐지에 특화된 새로운 유형의 SE 맞춤형 AI 도구 개발의 필요성을 시사함.