[논문 리뷰] Coder Reviewer Reranking for Code Generation

Tianyi Zhang, Changyuan Yu외 5명|arXiv (Cornell University)|2022. 11. 29.

Software Engineering Research인용 수 7

한 줄 요약

이 논문은 Coder-Reviewer 재정렬을 제안하며, 이는 Coder 모델(p(y|x))과 Reviewer 모델(p(x|y))을 함께 사용하여 생성된 프로그램을 평가하는 프롬프팅 기반 방법이다. 이 방법은 원래 지시어가 프로그램에 얼마나 잘 부합하는지 평가한다. 표준 Coder-단일 재정렬 대비 최대 17%의 절대 정확도 향상을 달성하며, 실행 가능성 필터링과 조합할 경우 MBR-exec을 능가한다.

ABSTRACT

Sampling diverse programs from a code language model and reranking with model likelihood is a popular method for code generation but it is prone to preferring degenerate solutions. Inspired by collaborative programming, we propose Coder-Reviewer reranking. We augment Coder language models from past work, which generate programs given language instructions, with Reviewer models, which evaluate the likelihood of the instruction given the generated programs. We perform an extensive study across six datasets with eight models from three model families. Experimental results show that Coder-Reviewer reranking leads to consistent and significant improvement (up to 17% absolute accuracy gain) over reranking with the Coder model only. When combined with executability filtering, Coder-Reviewer reranking can often outperform the minimum Bayes risk method. Coder-Reviewer reranking is easy to implement by prompting, can generalize to different programming languages, and works well with off-the-shelf hyperparameters.

연구 동기 및 목표

• 모드 탐색 추론으로 인해 짧거나 반복적인 코드와 같은 열악한 해결책을 선호하는 Coder-단일 재정렬의 한계를 해결한다.
• 역확률 p(x|y)를 사용해 지시어 이행도를 평가하는 Reviewer 모델을 도입함으로써 코드 생성의 신뢰성을 향상시킨다.
• 추가 학습 없이도 간단한 제로샷 프롬프팅 기반 방법을 통해 Reviewer 모델을 구현한다.
• 다양한 데이터셋, 모델, 프로그래밍 언어에서 일관된 성능 향상을 입증한다.
• 재학습 없이도 다양한 프로그래밍 언어와 모델 패밀리에 잘 일반화되며, 기존의 하이퍼파라미터 및 필터링 기법과 효과적으로 작동함을 보여준다.

제안 방법

• 사용자 지시어 x로부터 다수의 후보 프로그램 y를 사전 학습된 Coder 모델을 사용해 생성한다.
• 각 생성된 프로그램 y에 대해 프롬프트 순서를 뒤집어 동일한 모델을 Reviewer로 사용하여, 자동회귀적 우도를 통해 p(x|y)를 추정한다.
• 두 우도의 곱인 p(x|y) × p(y|x)를 사용해 후보들을 재정렬하며, 이는 가중 최대 상호정보량(MMI) 목적함수에 해당한다.
• Fine-tuning이나 추가 학습 없이, 소수의 예시 프롬프팅을 통해 Reviewer 모델을 구현한다.
• 실행 가능성 필터링과 Coder-Reviewer 재정렬을 조합하여 성능을 더욱 향상시키며, 특히 테스트 케이스가 많은 벤치마크에서 효과적이다.
• 재정렬 이전에 너무 짧거나 반복적인 프로그램을 걸러내기 위해 단순한 열악한 해결책 거부 단계를 적용한다.

실험 결과

연구 질문

• RQ1 역우도 모델 p(x|y)가 코드 생성에서 열악한 코드에 대한 편향을 효과적으로 줄일 수 있는가?
• RQ2 p(y|x)와 p(x|y)를 곱셈 스코어링으로 조합하면 다양한 모델과 데이터셋에서 일관된 성능 향상이 이루어지는가?
• RQ3 MBR-exec과 같은 최신 기법과 비교했을 때 Coder-Reviewer 재정렬은 정확도와 실용성 측면에서 어떻게 다른가?
• RQ4 재학습 없이도 다양한 프로그래밍 언어와 모델 패밀리에 잘 일반화되는가?
• RQ5 샘플 수나 혼합 비율 α와 같은 하이퍼파라미터에 대해 이 방법은 얼마나 민감한가?

주요 결과

• Coder-Reviewer 재정렬은 여섯 개의 데이터셋과 여덟 개의 모델에서 Coder-단일 재정렬 대비 최대 17%의 절대 정확도 향상을 달성한다.
• 모든 평가된 모델 패밀리(Codex, CodeGen, CodeT 등)와 프로그래밍 언어(Python, Java, Bash 등)에서 일관되게 성능 향상을 보인다.
• 실행 가능성 필터링과 조합할 경우, 실행된 출력을 복잡하게 집계해야 하는 MBR-exec을 능가하는 경우가 많다.
• 후보 프로그램 수가 증가함에 따라 안정적인 성능을 유지하며, Coder-단일 재정렬은 열악한 해결책으로 인해 성능이 저하되는 것을 보여준다.
• 열악한 해결책 거부는 모든 방법에 도움이 되지만, 특히 Coder-단일 재정렬에 가장 큰 효과를 보이며, Coder-Reviewer가 내재된 편향을 줄임을 확인한다.
• α(혼합 비율)의 하이퍼파라미터 튜닝은 대부분의 경우 <1%의 추가 성능 향상만을 가져오며, α = 0.5가 강건한 기본 설정임을 시사한다.