[논문 리뷰] Representing Schema Structure with Graph Neural Networks for Text-to-SQL Parsing

Ben Bogin, Matt Gardner외 1명|arXiv (Cornell University)|2019. 05. 15.

Natural Language Processing Techniques참고 문헌 19인용 수 40

한 줄 요약

이 논문은 그래프 신경망(GNN) 기반의 스키마 표현을 인코더-디코더 텍스트-SQL 파서에 통합하여 Spider 벤치마크에서 스키마 구조를 인코딩 및 디코딩에 조건으로 설정함으로써 상당한 정확도 향상을 달성합니다.

ABSTRACT

Research on parsing language to SQL has largely ignored the structure of the database (DB) schema, either because the DB was very simple, or because it was observed at both training and test time. In Spider, a recently-released text-to-SQL dataset, new and complex DBs are given at test time, and so the structure of the DB schema can inform the predicted SQL query. In this paper, we present an encoder-decoder semantic parser, where the structure of the DB schema is encoded with a graph neural network, and this representation is later used at both encoding and decoding time. Evaluation shows that encoding the schema structure improves our parser accuracy from 33.8% to 39.4%, dramatically above the current state of the art, which is at 19.7%.

연구 동기 및 목표

• 복잡하고 보지 못한 스키마(Spider)에 대한 제로샷 텍스트-SQL 파싱에서 데이터베이스 스키마 구조의 중요성을 동기 부여합니다.
• 글로벌하고 스키마 인지 신호를 인코더와 디코더 모두에 제공하기 위해 GNN 기반 스키마 표현을 제안합니다.
• 스키마 구조를 도입하면 특히 다중 테이블 쿼리의 경우 SQL 쿼리 정확도가 크게 향상됨을 보여줍니다.

제안 방법

• 각 DB 스키마를 테이블과 컬럼을 노드로 하고 외래키 관계를 간선으로 하는 다중 타입 그래프로 변환합니다.
• 질문 조건에 따른 스키마 아이템의 관련성 점수를 계산하여 질문마다 스키마의 영향을 부드럽게 가지치기합니다.
• 그래프 신경망(GNN)을 사용해 글로벌 스키마 구조와 질문 관련성을 반영한 노드 표현을 계산합니다.
• 그래프 정보를 포함한 스키마 표현으로 인코더 입력을 보강하고 디코더를 그래프 인식 스키마 신호를 주시하고 활용하도록 수정합니다.
• 디코딩에서 이전에 디코딩된 스키마 아이템들에 대한 자기 주의(self-attention) 메커니즘을 포함하여 향후 스키마 아이템 선택에 편향을 주도록 합니다.

실험 결과

연구 질문

• RQ1 보이지 않는 스키마(Spider)에 대해 그래프 신경망으로 스키마 구조를 인코딩하는 것이 텍스트-SQL 파싱을 향상시키나요?
• RQ2 특히 다중 테이블 쿼리에 대해 스키마 인지 표현이 인코딩 시점과 디코딩 시점의 결정에 어떤 영향을 미치나요?

주요 결과

• 전체 GNN 기반 모델은 Spider 테스트 세트에서 39.4%의 정확도를 달성하여 이전 최첨단(19.7%)보다 크게 향상되었습니다.
• GNN을 제거하면 정확도가 33.8%로 감소하여 스키마 구조의 중요성을 보여줍니다.
• 스키마 인지 모델링은 특히 다중 테이블 쿼리의 정확도를 14.6%에서 26.8%로 크게 향상시킵니다.
• 절차적 변경에서 자기 주의와 관련성 신호가 모두 성능에 기여하며, Oracle 유사 관련성은 추가 잠재 향상을 54.3%로 끌어올립니다.
• 모델은 No GNN 대비 잘못된 결합(관련 없는 테이블 간의 조인 등)을 감소시킵니다(발생률 15.6% 대 83.4%).