[논문 리뷰] Can Program Synthesis be Used to Learn Merge Conflict Resolutions? An Empirical Analysis

Rangeet Pan, Vu Le외 4명|arXiv (Cornell University)|2021. 03. 02.

Software Engineering Research참고 문헌 26인용 수 4

한 줄 요약

이 논문은 도메인 특화 언어(DSL)를 사용한 프로그램 합성 기법을 통해 C++ 코드에서 반복적으로 발생하는 머지 충돌 패턴을 학습하고 자동화하는 것을 제안한다. 패턴당 2~3개의 예시 해결 사례를 바탕으로 학습함으로써 11.4%의 충돌 중 93.2%의 정확도로 해결에 성공하였으며, 특히 1~2줄의 변경 사항에 대해 뛰어난 성능을 보였다.

ABSTRACT

Forking structure is widespread in the open-source repositories and that causes a significant number of merge conflicts. In this paper, we study the problem of textual merge conflicts from the perspective of Microsoft Edge, a large, highly collaborative fork off the main Chromium branch with significant merge conflicts. Broadly, this study is divided into two sections. First, we empirically evaluate textual merge conflicts in Microsoft Edge and classify them based on the type of files, location of conflicts in a file, and the size of conflicts. We found that ~28% of the merge conflicts are 1-2 line changes, and many resolutions have frequent patterns. Second, driven by these findings, we explore Program Synthesis (for the first time) to learn patterns and resolve structural merge conflicts. We propose a novel domain-specific language (DSL) that captures many of the repetitive merge conflict resolution patterns and learn resolution strategies as programs in this DSL from example resolutions. We found that the learned strategies can resolve 11.4% of the conflicts (~41% of 1-2 line changes) that arise in the C++ files with 93.2% accuracy.

연구 동기 및 목표

• 대규모 공동 코드베이스에서 반복적인 머지 충돌 해결 패턴을 학습하고 자동화하는 데 프로그램 합성이 활용될 수 있는지 조사하기 위해.
• Microsoft Edge(충돌 빈도가 높은 Chromium의 대규모 파생 브랜치)에서 텍스트 기반 머지 충돌의 일반적인 유형을 식별하고 분류하기 위해.
• 특히 C++ 파일을 대상으로 하여, 구조적 머지 충돌 해결 패턴을 포괄하는 도메인 특화 언어(DSL)를 설계하기 위해.
• 최소한의 예시로부터 프로그래밍-예시(PBE)를 통해 DSL 내에서 해결 전략을 프로그램으로 학습할 수 있는지 평가하기 위해.
• 실제 생산 환경에서의 실제 머지 충돌에 대해 합성된 전략의 정확도와 일반화 능력을 평가하기 위해.

제안 방법

• 12주간의 기간 동안 Microsoft Edge에서 발생한 머지 충돌을 대규모로 실증적으로 분석하여 파일 유형, 크기, 위치, 해결 패턴 등으로 분류하기 위해.
• 주 브랜치 또는 파생 브랜치의 코드 요소(예: include 지시어, 매크로 등)를 선택하고 수정하며 조합할 수 있는 추상화 기능을 갖춘 도메인 특화 언어(DSL)를 설계하기 위해.
• 패턴당 2~3개의 충돌 예시로부터 프로그래밍-예시(PBE)를 사용해 DSL 내에서 해결 전략을 프로그램으로 학습하기 위해.
• 오카무의 면도날 원칙에 기반한 랭킹 함수를 적용하여 더 작고 일반적인 프로그램을 선호하고 과적합을 줄이기 위해.
• 후보 프로그램을 생성하고 기존의 충돌 해결 사례와 비교하여 검증하는 합성 엔진을 구현하기 위해.
• 복잡한 충돌 유형을 지원하기 위해 새로운 연산(예: AST 노드 선택 등)을 추가함으로써 DSL과 학습 파이프라인의 확장성을 확보하기 위해.

실험 결과

연구 질문

• RQ1 Microsoft Edge와 같은 대규모 공동 C++ 프로젝트에서 가장 흔한 머지 충돌의 유형과 크기는 무엇인가?
• RQ2 개발자들은 작은 구조적 머지 충돌을 해결할 때 얼마나 자주 반복적인 해결 패턴을 따르는가?
• RQ3 C++에서 일반적인 머지 충돌 해결 전략을 간결하게 표현할 수 있는 도메인 특화 언어(DSL)를 설계할 수 있는가?
• RQ4 패턴당 2~3개의 예시만으로 프로그램 합성이 정확한 해결 전략을 얼마나 정확하게 학습하고 생성할 수 있는가?
• RQ5 합성된 전략은 유사한 충돌에 대해 일반화될 수 있으며 실제 환경에서 높은 정확도를 달성할 수 있는가?

주요 결과

• Microsoft Edge에서 전체 머지 충돌의 약 28%가 1~2줄의 변경 사항이며, 이 중 상당수는 include 지시어와 매크로와 관련되어 있다.
• C++ 충돌의 12.34%는 헤더 파일과 매크로와 관련되어 있으며, 식별된 9개의 해결 패턴 중 6개는 이러한 구조적 변경 사항을 전용으로 다룬다.
• 제안된 DSL은 일반적인 해결 전략을 성공적으로 포괄하여, 프로그램 합성을 통해 C++ 머지 충돌의 11.4%에 대해 정확한 해결책을 생성할 수 있었다.
• 합성된 전략은 1~2줄의 충돌을 해결할 때 93.2%의 정확도를 기록하여 대표적인 충돌 하위집단에 대해 뛰어난 성능을 입증하였다.
• 이 방법은 작은 반복적 충돌에 대해 효과적이지만, 주 브랜치와 파생 브랜치 양쪽의 코드 섹션을 모두 수정이 필요한 복잡한 경우에는 실패할 수 있다.
• 이 방법은 확장성이 있으며, DSL을 업데이트하고 추가 예시로 재학습함으로써 새로운 패턴에 쉽게 적응할 수 있다.