[논문 리뷰] Learning Python Code Suggestion with a Sparse Pointer Network

Avishkar Bhoopchand, Tim Rocktäschel외 2명|arXiv (Cornell University)|2016. 11. 24.

Software Engineering Research참고 문헌 19인용 수 67

한 줄 요약

이 논문은 파이썬과 같은 동적 타입 언어에서 장거리 식별자 의존성이 흔한 상황에서 코드 제안 성능을 향상시키기 위해 신경망 언어 모델과 통합된 스파스 포인터 네트워크를 제안한다. 추상 구문 트리(abstract syntax tree, AST)의 필터링된 시각을 통해 과거 식별자 중 일부에만 집중함으로써, 모델은 퍼플렉서티를 감소시키고 LSTM 기반 모델 대비 정확도를 5%p 향상시키며, 식별자 예측 정확도는 13배 향상시킨다.

ABSTRACT

To enhance developer productivity, all modern integrated development environments (IDEs) include code suggestion functionality that proposes likely next tokens at the cursor. While current IDEs work well for statically-typed languages, their reliance on type annotations means that they do not provide the same level of support for dynamic programming languages as for statically-typed languages. Moreover, suggestion engines in modern IDEs do not propose expressions or multi-statement idiomatic code. Recent work has shown that language models can improve code suggestion systems by learning from software repositories. This paper introduces a neural language model with a sparse pointer network aimed at capturing very long-range dependencies. We release a large-scale code suggestion corpus of 41M lines of Python code crawled from GitHub. On this corpus, we found standard neural language models to perform well at suggesting local phenomena, but struggle to refer to identifiers that are introduced many tokens in the past. By augmenting a neural language model with a pointer network specialized in referring to predefined classes of identifiers, we obtain a much lower perplexity and a 5 percentage points increase in accuracy for code suggestion compared to an LSTM baseline. In fact, this increase in code suggestion accuracy is due to a 13 times more accurate prediction of identifiers. Furthermore, a qualitative analysis shows this model indeed captures interesting long-range dependencies, like referring to a class member defined over 60 tokens in the past.

연구 동기 및 목표

• 파이썬과 같은 동적 타입 언어에서 표준 신경망 언어 모델이 장거리 의존성을 포착하는 데에 한계가 있음을 해결한다.
• 표준 RNN 또는 주의 메커니즘만으로는 달성할 수 없는 수준의 코드 제안 정확도 향상을 달성한다.
• 과거 코드 컨텍스트에서 오랫동안 이전에 도입된 식별자를 효율적으로 식별하고 참조할 수 있는 메커니즘을 개발한다.
• 학습 및 평가를 위한 대규모 고품질 파이썬 코드 코퍼스 4100만 줄을 구축하고 공개한다.
• 스파스 주의 메커니즘이 문법적 식별자에 집중할 경우 일반 주의 메커니즘 및 기준 모델보다 코드 제안 작업에서 더 우수한 성능을 보임을 입증한다.

제안 방법

• 코드 시퀀스에서 다음 토큰을 예측하기 위해 순차적 컨텍스트를 인코딩하고 LSTM을 사용해 신경망 언어 모델을 훈련한다.
• 이전 토큰의 히든 상태를 주시함으로써 장거리 의존성 모델링을 향상시키기 위해 주의 메커니즘을 통합한다.
• 추상 구문 트리(abstract syntax tree, AST)에서 추출한 필터링된 식별자 표현들 중 일부에만 집중하는 스파스 포인터 네트워크를 설계한다. 이는 이전에 도입된 관련 식별자에만 집중한다.
• 현재 언어 모델에서 새로운 토큰을 생성할지, 과거 식별자 메모리에서 식별자를 복사할지 동적으로 결정하는 컨트롤러 메커니즘을 사용한다.
• 현재 히든 상태와 과거 식별자 표현 간의 관련성 점수를 기반으로 컨텍스트 벡터를 계산하는 미분 가능한 주의 메커니즘을 적용한다.
• 교차 엔트로피 손실을 사용해 모델을 종합적으로 최적화하며, 포인터 네트워크 구성 요소는 사전에 정의된 후보 식별자 목록에서 정확한 식별자를 예측하도록 훈련된다.

실험 결과

연구 질문

• RQ1 AST에서 유도된 식별자에 대해 스파스 주의를 적용한 신경망 언어 모델이 표준 RNN 또는 일반 주의 메커니즘보다 파이썬 코드에서 장거리 의존성을 더 잘 포착할 수 있는가?
• RQ2 식별자에 집중하는 포인터 네트워크의 통합이 특히 장거리 참조에 대해 코드 제안 정확도를 향상시키는가?
• RQ3 제안된 모델은 n-gram 모델 및 표준 신경망 언어 모델에 비해 코드 제안 작업에서 퍼플렉서티와 상위 5개 정확도 측면에서 어떻게 비교되는가?
• RQ4 모델이 코드에서 60개 이상의 토큰 이전에 도입된 식별자를 얼마나 잘 학습하여 참조할 수 있는가?
• RQ5 스파스 포인터 메커니즘이 표준 언어 모델 기반 베이스라인에 비해 식별자 예측 오류율을 줄이는 데 얼마나 기여하는가?

주요 결과

• 제안된 스파스 포인터 네트워크는 LSTM 기반 모델 대비 코드 제안 정확도를 5%p 향상시킨다.
• 모델은 퍼플렉서티를 크게 감소시켜 코드 시퀀스의 언어 모델링 능력이 향상됨을 나타낸다.
• 식별자 예측 정확도는 LSTM 기반 모델 대비 13배 향상되어 장거리 의존성에 대한 뛰어난 성능을 보여준다.
• 정성적 분석을 통해 모델이 60개 이상의 토큰 이전에 도입된 클래스 멤버나 함수를 정확히 참조할 수 있음을 확인했다.
• 주의 메커니즘은 도움이 되지만 여전히 피할 수 없는 실수를 범하며, 이는 스파스 포인터 네트워크가 성공적으로 완화한다.
• 공개된 4100만 줄의 파이썬 코퍼스는 코드 제안 모델의 대규모 훈련 및 평가를 가능하게 하며, 향후 이 분야의 연구를 지원한다.