[논문 리뷰] Latent Predictor Networks for Code Generation

Ling Wang, Edward Grefenstette외 5명|arXiv (Cornell University)|2016. 03. 22.

Natural Language Processing Techniques참고 문헌 28인용 수 103

한 줄 요약

잠재 예측자 네트워크(LPNs)를 도입하여 여러 입력 예측자에 조건화된 코드를 생성하고, 구조화된 어텐션과 코드 압축을 적용하여 새로운 TCG 카드 데이터셋과 Django 말뭉치에서 최첨단 결과를 달성한다.

ABSTRACT

Many language generation tasks require the production of text conditioned on both structured and unstructured inputs. We present a novel neural network architecture which generates an output sequence conditioned on an arbitrary number of input functions. Crucially, our approach allows both the choice of conditioning context and the granularity of generation, for example characters or tokens, to be marginalised, thus permitting scalable and effective training. Using this framework, we address the problem of generating programming code from a mixed natural language and structured specification. We create two new data sets for this paradigm derived from the collectible trading card games Magic the Gathering and Hearthstone. On these, and a third preexisting corpus, we demonstrate that marginalising multiple predictors allows our model to outperform strong benchmarks.

연구 동기 및 목표

• 단일 소프트맥스를 넘어 다수의 예측자에 대해 출력을 조건화해야 하는 필요성을 제시한다.
• 학습 중 예측자 선택에 대해 주변화를 수행하기 위한 Latent Predictor Networks (LPNs)를 제안한다.
• 여러 필드를 가진 구조화된 입력에 주의를 확장한다.
• 새로운 MTG/HS 데이터셋을 사용하여 자연어와 구조화된 명세로부터의 코드 생성을 시연한다.
• 강력한 베이스라인 대비 개선을 입증하고 압축 및 포인터 네트워크 등의 구성 요소를 분석한다.

제안 방법

• 공통 프로젝션과 구조화된 어텐션을 통해 서로 다른 크기의 여러 입력 필드에 주목하도록 어텐션 기반 시퀀스-투-시퀀스 모델을 확장한다(식 4–5).
• 예측자 시퀀스와 생성된 세그먼트에 대한 주변 가능도(marginal likelihood)를 모델링하기 위해 Latent Predictor Networks를 정의한다(식 7).
• 세 가지 예측자 유형을 도입한다: 문자 생성, 단일 필드에서의 복사, 텍스트 필드에서의 복사(포인터 네트워크).
• 잠재적 예측자 시퀀스를 주변화하기 위해 순방향-역방향 동적 프로그래밍으로 학습한다(세미마코프 모델의 순방향–역방향).
• 스택 기반 빔 탐색으로 디코딩하고, 동일한 출 Outputs를 생성하는 경로를 병합한다.

실험 결과

연구 질문

• RQ1 다양한 세분성의 세그먼트를 다루면서 다수의 예측자에 대해 주변화를 수행하여 출력을 생성할 수 있는 신경망 아키텍처가 있는가?
• RQ2 다중 입력 필드에 대한 구조화된 어텐션이 혼합 자연어와 구조화된 명세로부터의 코드 생성을 개선하는가?
• RQ3 새로운 MTG/HS 데이터셋과 Django 말뭉치에서 포인터 네트워크가 포함된 LPN이 강력한 베이스라인보다 우수한가?
• RQ4 코드 압축이 학습 효율과 생성 품질에 미치는 영향은 무엇인가?
• RQ5 시스템이 필수 카드 속성들을 생성된 코드에 정확하게 복사할 수 있는가?

주요 결과

데이터셋	BLEU (MTG)	Acc (MTG)	BLEU (HS)	Acc (HS)	BLEU (Django)	Acc (Django)
Retrieval	54.9	0.0	62.5	0.0	18.6	14.7
Phrase	49.5	0.0	34.1	0.0	47.6	31.5
Hierarchical	50.6	0.0	43.2	0.0	35.9	9.5
Sequence	33.8	0.0	28.5	0.0	44.1	33.2
Attention	50.1	0.0	43.9	0.0	58.9	38.8
Our System	61.4	4.8	65.6	4.5	77.6	62.3
– C2W	60.9	4.4	67.1	4.5	75.9	60.9
– Compress	-	-	59.7	6.1	76.3	61.3
– LPN	52.4	0.0	42.0	0.0	63.3	40.8
– Attention	39.1	0.5	49.9	3.0	48.8	34.5

• LPN 기반 모델과 구조화된 어텐션 및 코드 압축이 MTG, HS, Django 데이터셋에서 베이스라인을 능가한다.
• MTG, HS, Django에서 본 시스템은 베이스라인이 유효한 코드를 생성하지 못하는 곳에서도 더 높은 BLEU와 0이 아닌 정확도를 달성한다.
• 압축은 길이가 긴 코드 시퀀스의 학습을 가능하게 하며 품질 저하를 거의 없이 디코딩 성능을 유지한다.
• 포인터 네트워크가 결정적으로 중요하다; LPN 구성요소를 제거하면 성능이 크게 저하된다.
• 문자 수준 생성과 복사 메커니즘을 결합하면 특히 카드 이름과 수치 속성 복사에서 강한 성능을 보인다.