[논문 리뷰] Program Repair: Automated vs. Manual

Quanjun Zhang, Yuan Zhao외 4명|arXiv (Cornell University)|2022. 03. 10.

Software Engineering Research인용 수 12

한 줄 요약

이 연구는 20名의 개발자와 160개의 수리 작업을 포함하는 대규모 인간 실험을 통해 자동 프로그램 수리(APR) 도구와 수동 디버깅을 비교한다. 결과적으로 APR 도구는 디버깅 시간을 단축하고 정확히 수정된 버그 수를 늘리는 데 기여하지만, 종종 낮은 품질의 패치와 오해를 유도하는 보고서를 생성하여, 사용성 향상—특히 보고서의 명확성과 피드백 품질 향상—이 실제 적용을 위한 핵심임을 시사한다.

ABSTRACT

Various automated program repair (APR) techniques have been proposed to fix bugs automatically in the last decade. Although recent researches have made significant progress on the effectiveness and efficiency, it is still unclear how APR techniques perform with human intervention in a real debugging scenario. To bridge this gap, we conduct an extensive study to compare three state-of-the-art APR tools with manual program repair, and further investigate whether the assistance of APR tools (i.e., repair reports) can improve manual program repair. To that end, we recruit 20 participants for a controlled experiment, resulting in a total of 160 manual repair tasks and a questionnaire survey. The experiment reveals several notable observations that (1) manual program repair may be influenced by the frequency of repair actions sometimes; (2) APR tools are more efficient in terms of debugging time, while manual program repair tends to generate a correct patch with fewer attempts; (3) APR tools can further improve manual program repair regarding the number of correctly-fixed bugs, while there exists a negative impact on the patch correctness; (4) participants are used to consuming more time to identify incorrect patches, while they are still misguided easily; (5) participants are positive about the tools' repair performance, while they generally lack confidence about the usability in practice. Besides, we provide some guidelines for improving the usability of APR tools (e.g., the misleading information in reports and the observation of feedback).

연구 동기 및 목표

• 실세계 디버깅 시나리오에서 최신 자동 프로그램 수리(APR) 도구의 효과성과 효율성을 수동 프로그램 수리와 비교 평가하기.
• APR 도구가 생성한 수리 보고서가 수동 디버깅 성능을 향상시킬 수 있는지 조사하기.
• 개발자의 관점에서 패치 품질과 보고서 명확성과 같은 사용성 문제를 특정하기.
• 실제 개발 워크플로우에 APR 도구의 실용성과 도입 가능성을 높이기 위한 실질적인 가이드라인 제공하기.

제안 방법

• Defects4J 벤치마크에서 추출한 8개의 실제 버그를 대상으로 20명의 참가자가 160개의 수동 수리 작업을 수행한 통제된 실험 수행.
• 다양한 수리 범주를 대표하는 최신 APR 도구 3종을 선정하고, 그들의 수리 보고서를 디버깅 보조 수 Mitts로 활용.
• 버그 및 보고서 할당과 일관된 실험 조건을 확보하기 위해 MoocTest라는 맞춤형 플랫폼을 구현.
• 수리 시간, 시도 횟수, 패치 정확도 등의 정량적 데이터와 설문지를 통한 정성적 피드백을 수집.
• 수리 빈도, 패치 품질, 보고서 사용성의 영향을 개발자 성능에 분석.
• 실제로 관찰된 사용성 문제—예를 들어 오해를 유도하는 패치와 비정형적인 로그 피드백—기반으로 실용적인 가이드라인 제안.

실험 결과

연구 질문

• RQ1 자동화된 프로그램 수리와 수동 프로그램 수리 간에 디버깅 시간, 시도 횟수, 패치 정확도 측면에서 어떻게 비교되는가?
• RQ2 실세계 환경에서 APR 도구가 수동 프로그램 수리의 효과성을 어느 정도 향상시킬 수 있는가?
• RQ3 개발자가 APR 도구가 생성한 수리 보고서를 사용할 때 겪는 사용성 문제는 무엇인가?
• RQ4 APR 보고서에 포함된 오해의 소지가 있는 또는 낮은 품질의 패치는 개발자의 디버깅 행동에 어떤 영향을 미치는가?
• RQ5 수리 보고서와 피드백 메커니즘에 어떤 개선이 이루어지면 개발자의 신뢰도와 생산성이 향상될 수 있는가?

주요 결과

• 수동 프로그램 수리는 코드 수정 행동의 빈도에 영향을 받으며, 높은 빈도는 비효율적인 디버깅 전략을 시사할 수 있다.
• APR 도구는 수동 수리보다 유의미하게 빠르며 평균 디버깅 시간을 단축하지만, 수동 수리는 더 낮은 시도 횟수로 더 높은 정확도를 기록한다.
• APR 도구를 보조 수 Mitts로 사용할 경우 정확히 수정된 버그 수가 증가하지만, 同시에 잘못되거나 낮은 품질의 패치를 생성할 위험도 증가한다.
• 개발자는 잘못된 패치를 검증하는 데 상당한 시간을 소비하며, 많은 경우 APR 도구의 유사하지만 잘못된 제안에 오도된다.
• APR 도구 성능에 대한 긍정적인 인식에도 불구하고, 실질적으로 개발자는 수리 보고서의 사용성과 신뢰성에 대해 낮은 자신감을 보인다.
• 실행 로그의 피드백은 구조가 불량하고 디버깅 힌트가 부족하여 자주 무시되며, 이는 실행 로그와 패치 제안 간의 더 나은 통합이 필요함을 시사한다.