[논문 리뷰] TRANX: A Transition-based Neural Abstract Syntax Parser for Semantic Parsing and Code Generation

Pengcheng Yin, Graham Neubig|arXiv (Cornell University)|2018. 10. 05.

Natural Language Processing Techniques참고 문헌 20인용 수 19

한 줄 요약

Tranx는 자연어 문장을 형식적 의미 표현으로 매핑하는 전이 기반 신경 추상 문법 구문 분석기이며, 작업에 종속되지 않는 추상 문법 기술 언어(ASDL) 문법을 사용한다. 구문 분석기 아키텍처를 도메인 특화 문법에서 분리함으로써 Tranx는 의미 분석 및 코드 생성 작업 전반에서 뛰어난 성능을 달성하며, 네 가지 벤치마크 중 세 곳에서 기존 신경 모델을 능가하고, WikiSQL에서 간단한 확장으로 최신 기술 성능을 기록한다.

ABSTRACT

We present TRANX, a transition-based neural semantic parser that maps natural language (NL) utterances into formal meaning representations (MRs). TRANX uses a transition system based on the abstract syntax description language for the target MR, which gives it two major advantages: (1) it is highly accurate, using information from the syntax of the target MR to constrain the output space and model the information flow, and (2) it is highly generalizable, and can easily be applied to new types of MR by just writing a new abstract syntax description corresponding to the allowable structures in the MR. Experiments on four different semantic parsing and code generation tasks show that our system is generalizable, extensible, and effective, registering strong results compared to existing neural semantic parsers.

연구 동기 및 목표

• 특정 아키텍처 재설계 없이 다양한 의미 표현 형식론에 적용 가능한 일반화 가능하고 확장 가능한 신경 의미 분석기를 개발하는 것.
• 기존 신경 구문 분석기가 특정 문법에 밀접하게 결합되어 있는 한계를 해결하기 위해, 외부 ASDL 문법 기술을 통해 모델을 도메인 특화 문법에서 분리하는 것.
• 추상 구문 트리(ASD)와 ASDL로 정의된 문법을 기반으로 한 구조적 전이 기반 구문 분석을 활용하여 의미 분석 및 코드 생성 성능을 향상시키는 것.
• 포인터 네트워크나 답변 정제와 같은 최소한의 아키텍처 수정이 복잡한 벤치마크인 WikiSQL에서 성능 향상에 크게 기여할 수 있음을 보여주는 것.

제안 방법

• Tranx는 자연어 입력으로부터 트리 구축 동작의 시퀀스를 사용해 점진적으로 추상 구문 트리(ASD)를 생성하는 전이 시스템을 사용한다.
• 구문 분석기는 신경망을 통해 전이 시퀀스의 각 동작에 점수를 매기며, 최종적으로 생성된 ASD는 사용자가 정의한 AST_to_MR 함수를 통해 의미 표현으로 변환된다.
• 도메인 특화 문법은 추상 구문 기술 언어(ASDL)를 사용해 표현되며, 이는 유효한 ASD 구조를 정의하고 모델 아키텍처를 수정하지 않고도 구문 분석 과정을 안내한다.
• 모듈러 디자인 덕분에 확장성이 향상된다: 새로운 ASDL 규칙을 정의함으로써 새로운 문법을 추가할 수 있고, 새로운 동작(예: 컬럼 선택을 위한 GenToken)은 최소한의 코드 변경으로 통합할 수 있다.
• WikiSQL과 같은 코드 생성 작업을 위해 Tranx는 컬럼 인코딩에 대한 포인터 네트워크를 통합하여 컬럼 참조를 생성함으로써 복잡한 아키텍처 재설계 없이도 정확도를 향상시킨다.
• 모델은 부모 노드 피드(부모 노드 표현을 통합함)와 답변 정제(후보 출력을 실행하여 유효하지 않은 것을 걸러냄)를 지원하여 테이블 기반 작업에서 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 작업에 종속되지 않는 문법에서 분리된 단일 신경 구문 분석기 아키텍처가 다양한 의미 분석 및 코드 생성 작업에 일반화될 수 있는가?
• RQ2 ASDL-문법 제약 조건에 따라 안내되는 전이 기반 구문 분석 접근 방식이 의미 분석의 정확도와 일반화 능력을 향상시키는 데 얼마나 효과적인가?
• RQ3 포인터 네트워크나 답변 정제와 같은 최소한의 아키텍처 확장이 복잡한 테이블 기반 코드 생성 작업에서 성능 향상에 얼마나 기여하는가?
• RQ4 AST 구축 과정에서 부모 노드 정보를 모델링하면 Python이나 SQL과 같은 복잡한 문법에서 성능 향상이 이루어지는가?

주요 결과

• Tranx는 Geo 및 Atis 데이터셋에서 기존 신경 의미 분석기보다 뛰어난 성능을 보이며, 부모 피드를 사용하지 않더라도 각각 88.2% 및 86.2%의 정확도를 기록한다.
• Django 코드 생성 벤치마크에서 Tranx는 73.7%의 정확도를 달성하여 이전의 신경 모델을 능가하며, 프로그램 합성에서 뛰어난 효과를 보였다.
• WikiSQL에서 Tranx는 답변 정제를 사용할 경우 정확히 일치하는 정확도 68.6%와 실행 정확도 78.6%를 기록했으며, 복잡한 테이블 인식 신경 아키텍처를 사용하는 많은 작업 특화 모델을 능가했다.
• 부모 피드를 추가함으로써 Python(Django)와 같은 복잡한 문법에서 성능 향상이 이루어졌으며, 깊은 ASD에서 부모-자식 관계를 모델링함으로써 구문 분석 정확도 향상이 가능하다는 것을 시사한다.
• 포인터 네트워크를 통한 컬럼 선택 추가와 간단한 답변 정제 전략 적용과 같은 최소한의 수정만으로도 Tranx는 WikiSQL에서 최신 기술 성능을 달성했으며, 높은 확장성 잠재력을 보였다.
• 모델의 성능는 추론 시 테이블 내용을 사용하지 않아도 뛰어나며, 답변 정제를 적용할 경우 성능 향상이 크게 증가하여 경량이고 후행적인 필터링의 가치를 입증했다.