[논문 리뷰] Domain Knowledge Matters: Improving Prompts with Fix Templates for Repairing Python Type Errors

Yun Peng, Shuzheng Gao외 3명|arXiv (Cornell University)|2023. 06. 02.

Software Engineering Research인용 수 4

한 줄 요약

이 논문은 실제 패치에서 추출한 도메인 특화 수정 템플릿을 통합함으로써 파이썬 타입 오류 복구를 위한 코드 미리 학습된 모델의 성능을 향상시키는 프롬프트 기반 접근법인 TypeFix를 제안한다. 일반화된 편집 패턴을 사용해 마스크 위치를 적응적으로 결정함으로써 프롬프트의 효과성을 높이며, BugsInPy와 TypeBugs에서 각각 26건과 55건의 성공적인 수정을 달성하여 최고의 베이스라인보다 각각 9건과 14건 더 많은 수정을 기록했으며, 개발자 패치의 75%를 커버한다.

ABSTRACT

Although the dynamic type system of Python facilitates the developers in writing Python programs, it also brings type errors at run-time. There exist rule-based approaches for automatically repairing Python type errors. The approaches can generate accurate patches but they require domain experts to design patch synthesis rules and suffer from low template coverage of real-world type errors. Learning-based approaches alleviate the manual efforts in designing patch synthesis rules. Among the learning-based approaches, the prompt-based approach which leverages the knowledge base of code pre-trained models via pre-defined prompts, obtains state-of-the-art performance in general program repair tasks. However, such prompts are manually defined and do not involve any specific clues for repairing Python type errors, resulting in limited effectiveness. How to automatically improve prompts with the domain knowledge for type error repair is challenging yet under-explored. In this paper, we present TypeFix, a novel prompt-based approach with fix templates incorporated for repairing Python type errors. TypeFix first mines generalized fix templates via a novel hierarchical clustering algorithm. The identified fix templates indicate the common edit patterns and contexts of existing type error fixes. TypeFix then generates code prompts for code pre-trained models by employing the generalized fix templates as domain knowledge, in which the masks are adaptively located for each type error instead of being pre-determined. Experiments on two benchmarks, including BugsInPy and TypeBugs, show that TypeFix successfully repairs 26 and 55 type errors, outperforming the best baseline approach by 9 and 14, respectively. Besides, the proposed fix template mining approach can cover 75% of developers' patches in both benchmarks, increasing the best rule-based approach PyTER by more than 30%.

연구 동기 및 목표

• 파이썬 타입 오류 복구에 있어 수동으로 정의된 프롬프트의 제한된 효과성 문제를 해결하기 위해.
• 규칙 기반 접근법에서 전문가가 설계한 패치 생성 규칙에 대한 의존도를 줄이기 위해.
• 실제 타입 오류 수정 사례에서 유래한 도메인 지식을 통합함으로써 프롬프트 기반 프로그램 복구 성능을 향상시키기 위해.
• 기존 규칙 기반 방법보다 실제 타입 오류 수정 템플릿의 커버리지 범위를 넓히기 위해.
• 채굴된 수정 템플릿을 활용해 맥락 인식형, 적응형 프롬프트를 자동으로 생성하는 방법을 개발하기 위해.

제안 방법

• TypeFix는 실제 타입 오류 수정 사례를 대상으로 새로운 계층적 클러스터링 알고리즘을 사용해 일반화된 수정 템플릿을 채굴한다.
• 채굴된 템플릿은 타입 오류 복구의 공통된 편집 패턴과 구문적 맥락을 포괄한다.
• 이 방법은 수정 템플릿 기반으로 버그가 있는 코드 내 최적의 마스크 위치를 동적으로 식별하여 정적 프롬프트 설계 방식을 대체한다.
• 이러한 템플릿을 도메인 지식으로 통합해 코드 미리 학습된 모델의 프롬프트에 통합함으로써 복구 정확도를 향상시킨다.
• 모델은 풍부하게 개선된 맥락 인식형 프롬프트를 기반으로 마스크된 토큰을 예측하여 패치를 생성한다.
• 이 방법은 표준 APR 평가 지표를 사용해 BugsInPy와 TypeBugs 두 가지 벤치마크에서 평가된다.

실험 결과

연구 질문

• RQ1 실제 패치에서 채굴한 수정 템플릿이 파이썬 타입 오류 복구를 위한 프롬프트 기반 프로그램 복구 성능을 향상시키는가?
• RQ2 수정 템플릿 기반의 적응형 마스크 배치 전략이 복잡한 타입 오류 복구에서 고정된 사전 정의된 프롬프트보다 우수한가?
• RQ3 제안된 수정 템플릿 채굴 방법이 기존 규칙 기반 방법보다 커버리지 확보에 얼마나 기여하는가?
• RQ4 템플릿을 통한 도메인 특화 지식 통합이 일반 프롬프트보다 더 높은 복구 성공률을 이끌어내는가?
• RQ5 실제 파이썬 코드의 다양한 타입 오류 패턴에 대해 이 방법은 얼마나 강건한가?

주요 결과

• TypeFix는 BugsInPy 벤치마크에서 26건의 타입 오류를 성공적으로 복구하여 최고의 베이스라인보다 9건 더 많은 수정을 기록했다.
• TypeBugs 벤치마크에서는 55건의 성공적인 수정을 달성하여 최고의 베이스라인보다 14건 더 많은 수정을 기록했다.
• 수정 템플릿 채굴 방법은 두 벤치마크 모두에서 개발자 패치의 75%를 커버하며, 최고의 규칙 기반 방법인 PyTER보다 30% 이상 높은 커버리지 확보를 달성했다.
• 적응형 마스크 배치 전략은 정적이고 수동으로 정의된 프롬프트에 비해 복구 효과성을 뚜렷이 향상시켰다.
• 도메인 특화 수정 템플릿을 프롬프트에 통합함으로써 복구 정확도와 일반화 능력 향상에 명백한 성능 향상이 있었다.
• 다양한 타입 오류 패턴에 걸쳐 강력한 일반화 능력을 보이며, 실제 환경에서의 강건성을 입증했다.