[논문 리뷰] Graph-to-Tree Neural Networks for Learning Structured Input-Output Translation with Applications to Semantic Parsing and Math Word Problem

Shucheng Li, Lingfei Wu외 4명|arXiv (Cornell University)|2020. 04. 07.

Natural Language Processing Techniques참고 문헌 54인용 수 14

한 줄 요약

이 논문은 그래프 인코더와 계층적 트리 디코더를 갖춘 분리된 어텐션 메커니즘을 사용하는 그래프-구조 입력을 처리하고 계층적 트리-구조 출력을 생성하는 새로운 그래프-에서-트리 신경망인 Graph2Tree를 제안한다. 모델은 입력과 출력 양쪽에서 구조적 정보를 효과적으로 활용하여 의미 분석 및 수학 단어 문제 해결에서 최신 기술 수준의 성능을 달성하며, MAWPS 벤치마크에서 기존 방법보다 최대 10个百分点 향상된다.

ABSTRACT

The celebrated Seq2Seq technique and its numerous variants achieve excellent performance on many tasks such as neural machine translation, semantic parsing, and math word problem solving. However, these models either only consider input objects as sequences while ignoring the important structural information for encoding, or they simply treat output objects as sequence outputs instead of structural objects for decoding. In this paper, we present a novel Graph-to-Tree Neural Networks, namely Graph2Tree consisting of a graph encoder and a hierarchical tree decoder, that encodes an augmented graph-structured input and decodes a tree-structured output. In particular, we investigated our model for solving two problems, neural semantic parsing and math word problem. Our extensive experiments demonstrate that our Graph2Tree model outperforms or matches the performance of other state-of-the-art models on these tasks.

연구 동기 및 목표

• 시퀀스-에서-시퀀스(Sequence-to-Sequence) 모델이 구조적 입력과 출력을 다루는 데에 한계가 있음을 해결하기 위해 그래프-구조 입력과 트리-구조 출력을 명시적으로 모델링한다.
• 구조적 표현을 통해 문법적 및 조합적 의존 관계를 포착하여 신경망 의미 분석 및 수학 단어 문제 해결을 향상시킨다.
• 다양한 NLP 작업에 일반화할 수 있는 일반적이고 작업에 종속되지 않는 구조적 입력-출력 번역 프레임워크를 개발한다.
• 그래프 및 트리 모델링을 통한 구조적 정보 통합이 순차 기반 베이스라인에 비해 성능 향상에 크게 기여함을 입증한다.

제안 방법

• 모델은 단어 시퀀스와 의존성 또는 구성 트리와 같은 문법적 구조를 결합하여 구성된 확장된 입력 그래프를 처리하기 위해 그래프 인코더를 사용한다.
• 계층적 트리 디코더는 타겟 출력의 조합적 의존 관계를 모델링하면서 출력 트리 구조를 단계적으로 생성한다.
• 생성 과정 중에 이질적인 그래프 노드와 트리 디코더의 해당 조합적 노드를 정렬하기 위해 분리된 어텐션 메커니즘을 도입한다.
• 그래프 인코더는 부모 및 형제 메시지 전파를 통해 노드 표현을 향상시키는 GNN 기반 아키텍처를 사용한다.
• 의존성 및 구성 그래프 모두를 입력 구조로 지원하여 입력 표현의 유연성을 확보한다.
• 수학식과 의미 분석의 계층적 의미를 유지하는 트리 구조 생성 과정을 사용한다.

실험 결과

연구 질문

• RQ1 의미 분석 및 수학 단어 문제 해결과 같은 구조적 입력-출력 번역 작업에서, 그래프-에서-트리 신경망이 순차 기반 모델을 능가할 수 있는가?
• RQ2 입력 그래프에 문법적 구조(예: 의존성 또는 구성 트리)를 통합할 경우 모델 성능에 어떤 영향을 미치는가?
• RQ3 생성 과정 중에 그래프 노드와 트리 디코더 상태를 정렬하는 데 분리된 어텐션 메커니즘이 기여하는 바는 무엇인가?
• RQ4 부모 및 형제 메시지 전파와 같은 아키텍처 구성 요소가 수학 단어 문제 성능에 미치는 영향은 어떠한가?
• RQ5 특정 작업에 맞게 설계된 엔지니어링 없이도 모델이 다양한 구조적 예측 작업에 일반화할 수 있는가?

주요 결과

• MAWPS 벤치마크에서 구성 그래프를 사용한 Graph2Tree는 78.8%의 해답 정확도를 기록하여 이전 최고 성능 모델보다 최대 10个百分点 높였다.
• MATHQA 데이터셋에서 구성 그래프를 사용한 Graph2Tree는 69.65%의 정확도를 달성하여 다음으로 높은 베이스라인보다 5个百分点 이상 뛰어났다.
• 제거 실험 결과, 분리된 어텐션 메커니즘을 제거하면 성능이 67.6%로 떨어져, 이 메커니즘이 정렬 및 생성 과정에서 핵심적인 역할을 함을 입증했다.
• 형제 메시지 전파 메커니즘은 수학 단어 문제에서 특히 중요했으며, 이는 수식의 피연산자 순서가 정확성에 결정적인 영향을 미치기 때문이다.
• MAWPS와 MATHQA 양쪽에서 구성 그래프 기반 모델이 의존성 그래프 기반 버전보다 뛰어난 성능을 보여, 더 풍부한 문법적 구조가 성능 향상에 기여함을 시사한다.
• 정규화 기법 없이도 비정규화된 의미적으로 의미 있는 수식을 직접 생성할 수 있다는 점에서, 이 모델은 충실한 추론 추적 생성 능력을 갖춘 것으로 나타났다.