[논문 리뷰] Deep Reinforcement Learning for Programming Language Correction

Rahul Gupta, Aditya Kanade외 1명|arXiv (Cornell University)|2018. 01. 31.

Reinforcement Learning in Robotics참고 문헌 14인용 수 22

한 줄 요약

이 논문은 딥 강화학습 프레임워크인 RLAssist를 제안한다. 이 프레임워크는 프로그래밍 언어의 문법 오류를 원시 프로그램 텍스트에서 직접 학습하며, 문법 지식이 없이도 인간의 편집 행동을 모방하여 탐색과 토큰 수준의 편집을 수행함으로써 오류를 수정한다. 전통적인 DeepFix보다 14% 더 많은 프로그램과 29% 더 많은 컴파일러 오류 메시지를 수정하며, 학습을 가속화하기 위해 전문가 지시 데이터의 10%만을 사용한다.

ABSTRACT

Novice programmers often struggle with the formal syntax of programming languages. To assist them, we design a novel programming language correction framework amenable to reinforcement learning. The framework allows an agent to mimic human actions for text navigation and editing. We demonstrate that the agent can be trained through self-exploration directly from the raw input, that is, program text itself, without any knowledge of the formal syntax of the programming language. We leverage expert demonstrations for one tenth of the training data to accelerate training. The proposed technique is evaluated on 6975 erroneous C programs with typographic errors, written by students during an introductory programming course. Our technique fixes 14% more programs and 29% more compiler error messages relative to those fixed by a state-of-the-art tool, DeepFix, which uses a fully supervised neural machine translation approach.

연구 동기 및 목표

• 초보 프로그래머가 일반적인 문법 오류를 수정하는 데 도움을 주는 문제를 해결하기 위해.
• 형식적인 프로그래밍 문법 지식 없이도 프로그램 텍스트를 탐색하고 편집할 수 있는 강화학습 기반 에이전트를 개발하기 위해.
• DeepFix와 같은 기존 도구를 향상시키기 위해 더 세밀한 토큰 수준의 편집과 강력한 오류 복구 기능을 제공하기 위해.
• 자기 탐색을 통해 최소한의 전문가 지도 없이도 효과적인 프로그램 수정이 가능함을 보여주기 위해.

제안 방법

• 에이전트는 프로그램 텍스트와 커서 위치를 처리하기 위해 LSTM 기반 인코더를 사용하여 맥락적 임bedding을 생성한다.
• 에이전트는 이산 동작을 수행한다: 토큰을 탐색하는 것(좌/우/상/하)과 토큰을 편집하는 것(삽입/삭제/대체).
• 보상 함수는 컴파일러 오류 메시지의 감소에 기반하며, 성공적으로 컴파일된 경우 최대 보상을 부여한다.
• 비동기적 이점 액터-크리틱(A3C) 알고리즘이 에이전트의 정책을 최적화하여 누적 보상을 극대화하도록 학습시킨다.
• 전문가 지시 데이터는 훈련 데이터의 10%에만 사용되어 학습을 가속화하며, 인간의 간섭 없이 자동으로 생성된다.
• 에이전트의 편집이 프로그램을 악화시키면 환경이 이를 거부하여 생산적이지 않은 탐색을 제거하고 샘플 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 강화학습 에이전트는 문법 지식 없이 원시 프로그램 텍스트와 컴파일러 피드백만으로 프로그래밍 언어의 문법 오류를 수정할 수 있는가?
• RQ2 자동으로 생성된 전문가 지시 데이터가 프로그램 수정 강화학습 설정에서 학습을 크게 가속화할 수 있는가?
• RQ3 토큰 수준의 편집이 일반적인 프로그래밍 오류 수정에서 라인 수준의 편집보다 우수한가?
• RQ4 강화학습 에이전트가 DeepFix와 같은 완전히 지도된 신경 기계 번역 모델보다 프로그램 수정 성능에서 뛰어나게 될 수 있는가?
• RQ5 전문가 지시 없이도 자기 탐색만으로 고성능의 프로그램 수정 에이전트를 학습시킬 수 있는가?

주요 결과

• RLAssist는 1,854개의 프로그램을 완전히 수정하고 1,426개를 부분적으로 수정하여, DeepFix보다 완전 수정 프로그램 수에서 14% 높은 성능을 기록했다.
• RLAssist는 6,652개의 컴파일러 오류 메시지를 해결했으며, DeepFix의 5,156개 대비 29% 향상된 성능을 보였다.
• 전문가 지시 데이터 없이도 Baseline2(편집 페널티 0)는 76%의 오류 메시지 해결률을 기록하여 DeepFix의 성능과 동일했다.
• 에이전트가 학습한 임베딩은 오류 위치 상태에서 명확한 클러스터를 형성하여, 에이전트가 프로그램의 구조와 오류 위치를 모두 잘 포착하고 있음을 확인했다.
• RLAssist의 토큰 수준 편집은 DeepFix의 라인 수준 대체 방식과 달리 정밀한 수정이 가능하며, 이는 누적 오류 처리 능력을 향상시킨다.
• 이 프레임워크는 프로그래밍 언어에 종속되지 않으며, 다른 언어와 오류 유형으로도 확장 가능하다.