[논문 리뷰] Relation Aware Semi-autoregressive Semantic Parsing for NL2SQL

Junyang Huang, Yongbo Wang외 3명|arXiv (Cornell University)|2021. 08. 02.

Natural Language Processing Techniques참고 문헌 16인용 수 9

한 줄 요약

이 논문은 자연어 질문과 데이터베이스 스키마를 함께 인코딩하는 ELECTRA 기반의 관계 인식 트랜스포머를 사용하는 관계 인식(semi-autoregressive) 의미 분석 프레임워크인 RaSaP을 제안한다. 정의된 SQL 문법을 활용한 부분 자동 생성 디코딩과 함께, 구분 가능한 단어 표현을 학습함으로써 Spider 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 정확한 일치율(exact match)은 69.0%, 실행 정확도(execution accuracy)는 70.0%를 기록하였다.

ABSTRACT

Natural language to SQL (NL2SQL) aims to parse a natural language with a given database into a SQL query, which widely appears in practical Internet applications. Jointly encode database schema and question utterance is a difficult but important task in NL2SQL. One solution is to treat the input as a heterogeneous graph. However, it failed to learn good word representation in question utterance. Learning better word representation is important for constructing a well-designed NL2SQL system. To solve the challenging task, we present a Relation aware Semi-autogressive Semantic Parsing (\MODN) ~framework, which is more adaptable for NL2SQL. It first learns relation embedding over the schema entities and question words with predefined schema relations with ELECTRA and relation aware transformer layer as backbone. Then we decode the query SQL with a semi-autoregressive parser and predefined SQL syntax. From empirical results and case study, our model shows its effectiveness in learning better word representation in NL2SQL.

연구 동기 및 목표

• 의미적으로 복잡하거나 모호한 토큰에 대해 효과적인 단어 표현을 학습하는 데 도전한다.
• 데이터베이스 스키마와 자연어 질문의 공동 인코딩을 향상시켜 의미 분석 정확도를 높인다.
• 기존 모델이 질문 내에서 의미적으로 관련 있는 토큰과 관련 없는 토큰을 구분하지 못하는 한계를 해결한다.
• 관계 인식 주의 메커니즘과 부분 자동 생성 디코딩을 통해 더 유연하고 정확한 NL2SQL 프레임워크를 개발한다.
• 구분 가능한 사전 훈련(ELECTRA)이 실제 복잡한 벤치마크에서 NL2SQL 성능 향상에 기여하는지 입증한다.

제안 방법

• 토큰 중요도에 중점을 두고 문맥 기반의 구분 가능한 단어 표현을 학습하기 위해 ELECTRA를 백본 인코더로 사용한다.
• 질문 토큰과 스키마 요소(예: 컬럼, 테이블) 간의 사전 정의된 스키마 관계를 모델링하기 위해 관계 인식 자기 주의 메커니즘을 적용한다.
• 외래 키, 주 키, 컬럼-테이블 관계 등 12종류의 관계 유형을 포함한 비균일한 그래프를 질문 토큰과 스키마 엔티티 간에 구축한다.
• 의미 있는 의미 하위 프로그램을 단계적으로 구성함으로써 SQL을 생성하는 하향식 부분 자동 생성 디코더를 구현한다.
• 사전 정의된 SQL 문법과 트리 구조 표현을 활용하여 디코딩을 안내하고 구조적 정확도를 향상시킨다.
• 빔 크기 K=30인 빔 서치와 520 에포크 동안의 기울기 누적 기반으로 종합적인 미세조정을 수행한다.

실험 결과

연구 질문

• RQ1 관계 인식 주의 메커니즘이 모호하거나 맥락적으로 민감한 토큰에 대해 의미 분석 성능 향상에 기여하는가?
• RQ2 구조화된 SQL 문법을 활용한 부분 자동 생성 디코딩 전략이 생성 오류를 줄이는 데 얼마나 효과적인가?
• RQ3 ELECTRA와 같은 구분 가능한 사전 훈련 모델을 사용할 경우, 표준 BERT 기반 모델 대비 복잡한 NL2SQL 벤치마크에서 성능 향상이 이루어지는가?
• RQ4 질문과 스키마의 공동 인코딩이 미리 보지 못한 데이터베이스 스키마에 대한 일반화 능력을 얼마나 향상시키는가?
• RQ5 기존 모델이 잘못 분석하기 쉬운 의미적으로 중요한 구문(예: 'amc hornet sportabout (sw)')을 모델이 정확히 식별하고 유지할 수 있는가?

주요 결과

• RaSaP는 Spider 개발 세트에서 69.0%의 정확한 일치율(EM)과 70.0%의 실행 정확도(EXEC)를 기록하여 RAT-SQL 변종 및 BRIDGE+BERT와 같은 이전 방법들을 능가한다.
• 복잡한 케이스에서 뛰어난 성능을 보이며, 예를 들어 ID 대신 국가로 그룹화하거나, 내림차순으로 나이 기준 정렬하는 경우를 정확히 처리한다.
• 사례 연구를 통해 RaSaP는 'amc hornet sportabout (sw)'와 같은 모호한 구문을 전체 값을 하나의 단위로 유지함으로써 잘못 분할하는 것을 방지하고 정확히 파싱함을 보여준다.
• ELECTRA를 백본으로 사용함으로써 중요한 토큰과 관련 없는 토큰을 더 잘 구분할 수 있어 환영(hallucination)과 오해를 줄였다.
• 구조화된 하위 프로그램 생성 방식을 갖춘 부분 자동 생성 디코더는 더 정확하고 의미적으로 일관된 SQL 출력을 이끌어낸다.
• 더 작은 백본(ELECTRA-base)을 사용함에도 불구하고 T5-3B+PICARD와 같은 더 큰 모델에 비해 경쟁 가능한 성능을 기록함으로써 효율성과 정확도의 상호 보완적 조정이 가능함을 시사한다.