[논문 리뷰] Program Language Translation Using a Grammar-Driven Tree-to-Tree Model

Mehdi Drissi, Olivia Watkins외 6명|arXiv (Cornell University)|2018. 07. 04.

Natural Language Processing Techniques참고 문헌 8인용 수 8

한 줄 요약

이 논문은 디코딩 중에 형식적 문법 규칙을 활용하여 문법적으로 타당한 프로그램을 생성하도록 강제하는 문법 기반 트리-트리 신경망 모델을 제안한다. 표준 신경망 디코더 대신 문법 인식 디코더를 사용함으로써, 이 모델은 합성 번역 작업에서 88.82%의 정확도를 달성하였으며, 정확도와 학습 안정성 측면에서 이전의 최고 성능을 기록한 트리-트리 및 트리-시퀀스 모델을 모두 능가하였다.

ABSTRACT

The task of translating between programming languages differs from the challenge of translating natural languages in that programming languages are designed with a far more rigid set of structural and grammatical rules. Previous work has used a tree-to-tree encoder/decoder model to take advantage of the inherent tree structure of programs during translation. Neural decoders, however, by default do not exploit known grammar rules of the target language. In this paper, we describe a tree decoder that leverages knowledge of a language's grammar rules to exclusively generate syntactically correct programs. We find that this grammar-based tree-to-tree model outperforms the state of the art tree-to-tree model in translating between two programming languages on a previously used synthetic task.

연구 동기 및 목표

• 신경 트리-트리 모델이 문법적으로 잘못된 프로그램을 생성하는 한계를 해결하기 위해 디코딩 과정에 형식적 문법 규칙을 통합한다.
• 문법에 기반한 생성을 통해 종료 트리 토큰이 필요 없어지므로, 학습 효율성을 향상시키고 불필요한 연산을 줄인다.
• 특히 표준 신경망 디코더와 비교할 때 무작위 초기화에 민감도가 낮아지도록 모델의 안정성과 수렴성을 향상시킨다.
• 모든 생성된 프로그램이 대상 언어의 문법을 엄격히 준수하도록 보장함으로써 더 신뢰할 수 있고 정확한 프로그램 번역을 가능하게 한다.
• 충분한 평행 훈련 데이터와 형식적 문법이 제공되는 경우, 실제 언어 쌍에 쉽게 확장 가능한 실용적인 프로그램 번역 프레임워크를 제공한다.

제안 방법

• 모델은 소스 프로그램의 추상 구문 트리(ASG)를 처리하기 위해 트리-LSTM 인코더를 사용하며, 계층적 처리를 위해 왼쪽 자식 오른쪽 형제 표현을 통해 트리를 이진화한다.
• 표준 신경망 디코더 대신 문법 인식 디코더를 사용하여, 형식적 문법 규칙을 활용해 자식 노드 생성을 제약하고, 항상 문법적으로 타당한 프로그램만 생성하도록 보장한다.
• 디코더는 부모의 임베딩과 어텐션 벡터를 결합한 후 이를 LSTM에 입력하여 자식 생성을 안내하는 부모 어텐션 메커니즘을 활용한다.
• 종료 트리 토큰이 필요 없도록 문법 규칙을 활용해 유효한 노드 전개를 결정함으로써, 필요한 연산 수를 줄이고 효율성을 향상시킨다.
• 디코더는 대상 언어의 문법을 준수하는 경우에만 노드 생성을 허용하며, 자식 생성은 인코딩된 소스 트리에 대한 어텐션을 통해 안내된다.
• 변수 및 리터럴 이름에 대해 고정 용량 메커니즘을 통합하였으며, 향후 기존 연구에서 제안된 복사 메커니즘을 활용한 확장이 가능하다.

실험 결과

연구 질문

• RQ1 표준 신경망 디코더와 비교해 문법 기반 디코더가 신경 프로그램 번역의 문법적 타당성과 정확도를 크게 향상시킬 수 있는가?
• RQ2 디코딩 중에 문법 규칙을 강제하면 수렴 속도와 안정성이 향상되는가?
• RQ3 합성 프로그램 번역 벤치마크에서, 문법 인식 트리-트리 모델의 성능은 최고 수준의 트리-트리 및 트리-시퀀스 모델과 비교해 어떻게 되는가?
• RQ4 형식적 문법 정보가 부재할 경우, 모델이 희귀하거나 복잡한 문법 패턴으로 일반화하는 데 얼마나 영향을 받는가?
• RQ5 이 문법 기반 접근 방식은 대규모 평행 코퍼스와 형식적 언어 명세가 필요한 실제 프로그램 번역 작업에 확장 가능한가?

주요 결과

• 문법 기반 트리-트리 모델은 합성 프로그램 번역 작업에서 평균 88.82%의 정확도를 달성하였으며, 재현된 트리-트리 및 트리-시퀀스 기반 모델을 모두 능가하였다.
• 기반 모델 대비 더 안정적인 수렴을 보였으며, 런 간 정확도의 표준편차가 유의미하게 낮아 무작위 초기화에 대한 민감도가 감소했다.
• 기반 모델의 최고 성능 런을 모두 초월한, 모델의 최고 개별 런이 성능 면에서 일관된 우월성을 보였다.
• 원본 모델을 충실하게 재현하려 노력한 결과, 재현된 기반 모델의 성능은 Chen 등(2018)이 보고한 성능보다 열등하여, 데이터셋 또는 구현 차이가 결과에 영향을 미쳤을 가능성이 있다.
• 종료 트리 토큰이 제거됨에 따라 더 적은 연산이 필요해졌고, 이는 디코딩 과정의 효율성 향상과 중복 제거에 기여했다.
• 모델의 성능는 다양한 프로그램 길이에 걸쳐 뛰어나게 유지되었으며, 특히 원래 하드 작업의 두 배 길이에 이르는 더 긴 프로그램까지도 강력한 성능을 보였다.