[논문 리뷰] Exploiting Rich Syntactic Information for Semantic Parsing with Graph-to-Sequence Model

Kun Xu, Lingfei Wu외 4명|arXiv (Cornell University)|2018. 08. 23.

Topic Modeling참고 문헌 24인용 수 24

한 줄 요약

이 논문은 문장의 어순, 의존 구조, 구성 구조와 같은 풍부한 문법 정보를 통합된 문법 그래프에 코딩하여 의미 분석 성능을 햖थ기기 위한 그래프-시퀀스 모델을 제안한다. 다단계 이웃 정보를 집계하는 그래프 인코더와 노드 임베딩에 대한 어텐션을 갖춘 시퀀스 디코더를 활용함으로써, 이 모델은 기준 데이터셋에서 최고 성능을 기록하고, 특히 세 가지 문법 특징을 모두 통합했을 때 적대적 예제에 대해 뛰어난 강건성을 보여준다.

ABSTRACT

Existing neural semantic parsers mainly utilize a sequence encoder, i.e., a sequential LSTM, to extract word order features while neglecting other valuable syntactic information such as dependency graph or constituent trees. In this paper, we first propose to use the extit{syntactic graph} to represent three types of syntactic information, i.e., word order, dependency and constituency features. We further employ a graph-to-sequence model to encode the syntactic graph and decode a logical form. Experimental results on benchmark datasets show that our model is comparable to the state-of-the-art on Jobs640, ATIS and Geo880. Experimental results on adversarial examples demonstrate the robustness of the model is also improved by encoding more syntactic information.

연구 동기 및 목표

• 기존의 신경망 의미 분석기들이 순차적 LSTM 인코더에만 의존하고 풍부한 문법적 구조를 忽略하는 한계를 해결하기 위해.
• 어순, 의존, 구성 구조와 같은 다수의 문법 특징을 통합하면 의미 분석 성능과 강건성이 향상되는지 탐색하기 위해.
• 다양한 문법 정보를 하나의 구조화된 입력으로 통합하는 통합된 문법 그래프 표현을 설계하기 위해.
• 어순 순서의 변화나 재구성과 같은 표면적 어순을 방해하는 요소들로 인한 적대적 변형에 대한 모델의 강건성을 평가하기 위해.

제안 방법

• 단어 노드의 이중 방향 체인을 통해 어순을 포함하고, 내용어 간의 레이블이 붙은 방향성 간선을 통해 의존 관계를 포함하며, 비어 있는 어구 노드와 그 계층적 관계를 통해 구성 구조를 포함하는 문법 그래프를 구축하기.
• K-호프 이웃의 특징을 집계하여 노드 표현을 계산하는 메시지 전달 기반 그래프 인코더를 사용하고, 전역 그래프 임베딩을 생성하기 위해 풀링 메커니즘을 적용하기.
• 시퀀스 디코더에 어텐션 메커니즘을 도입하여 그래프 내의 노드 임베딩을 순차적으로 참조하면서 논리 형식의 토큰 단위로 생성하기.
• 의존 관계 레이블과 구성 트리 레이블을 텍스트 속성과 함께 별도의 노드로 취급하여 그래프 아키텍처의 핵심을 변경하지 않은 채로 구조적 의미를 유지하기.
• 기준 데이터셋의 (문장, 논리 형식) 쌍에 대해 표준 시퀀스-투-시퀀스 목적함수와 교차 엔트로피 손실을 사용하여 모델을 훈련하기.
• 정확도 감소율을 안정성 측정 지표로 사용하여, 두 가지 유형의 적대적 예제(단어 교환 문장과 재구성된 질문)에 대한 강건성을 평가하기.

실험 결과

연구 질문

• RQ1 어순, 의존, 구성과 같은 다양한 종류의 문법 정보를 통합하면, 순차적 특징만 사용하는 모델에 비해 의미 분석 정확도가 향상되는가?
• RQ2 어순 재배열이나 재구성과 같은 적대적 변형에 노출되었을 때, 문법적 구조의 통합이 모델의 강건성에 어떤 영향을 미치는가?
• RQ3 이질적인 문법적 구조를 인코딩하는 그래프-시퀀스 아키텍처가 의미 분석 작업에서 기존의 순차 기반 인코더보다 성능이 뛰어나게 되는가?
• RQ4 구성의 변화나 노이즈가 있는 입력과 같은 분포 이탈 상황에서, 어떤 문법적 특징이 강건성 향상에 가장 기여하는가?

주요 결과

• 제안된 모델은 표준 기준 데이터셋에서 경쟁력 있는 성능을 기록했으며, Jobs640, ATIS, Geo880에서 최고 성능을 달성하거나 초월했다.
• 단어 교환을 가한 적대적 예제에서, 세 가지 문법 특징을 모두 사용한 모델가 가장 높은 정확도를 유지했으며, 5개 단어가 교환된 상황에서 어순 특징만 사용한 모델보다 2.5%의 성능 격차를 보였다.
• 어순 특징만 사용한 모델는 재구성된 입력에서 정확도가 6.1% 감소했지만, 전체 모델는 오직 2.5% 감소하여, 문법적 구조가 강건성을 향상시킨 것으로 나타났다.
• 의존 및 구성 특징은 어순 특징만 사용한 경우보다 더 큰 강건성을 기여했으며, 단어 교환과 재구성 공격 모두에서 정확도 감소 폭이 더 작았다.
• 세 문법 특징을 모두 통합한 모델는 모든 적대적 환경에서 가장 안정적인 성능을 보였으며, 이는 구조적 정보가 일반화 능력을 향상시킨다는 것을 확인시켰다.
• ATIS 원본 개발 세트에서 전체 특징을 사용했을 때 모델의 정확도는 86.0%에 도달했으며, 하나 또는 두 개의 특징만 사용한 모델보다 뛰어난 성능을 보였다.