[논문 리뷰] Towards Robustness of Text-to-SQL Models against Synonym Substitution

Yujian Gan, Xinyun Chen외 5명|arXiv (Cornell University)|2021. 06. 02.

Topic Modeling참고 문헌 32인용 수 14

한 줄 요약

이 논문은 자연어 질문에서 동의어 치환에 대한 모델의 강건성(로버스트니)을 평가하기 위해 인간이 수작업으로 작성한 텍스트-SQL 벤치마크인 Spider-Syn을 소개한다. 이는 최신 기술 모델이 스키마와 관련된 단어가 동의어로 대체될 경우 정확도가 크게 떨어지는 것으로 나타났으며, 다중 annotation 선택과 악성 훈련이라는 두 가지 방어 전략을 제안한다. 특히 다중 annotation 선택 전략은 추가 훈련 없이도 강건성을 크게 향상시킴을 보여준다.

ABSTRACT

Recently, there has been significant progress in studying neural networks to translate text descriptions into SQL queries. Despite achieving good performance on some public benchmarks, existing text-to-SQL models typically rely on the lexical matching between words in natural language (NL) questions and tokens in table schemas, which may render the models vulnerable to attacks that break the schema linking mechanism. In this work, we investigate the robustness of text-to-SQL models to synonym substitution. In particular, we introduce Spider-Syn, a human-curated dataset based on the Spider benchmark for text-to-SQL translation. NL questions in Spider-Syn are modified from Spider, by replacing their schema-related words with manually selected synonyms that reflect real-world question paraphrases. We observe that the accuracy dramatically drops by eliminating such explicit correspondence between NL questions and table schemas, even if the synonyms are not adversarially selected to conduct worst-case adversarial attacks. Finally, we present two categories of approaches to improve the model robustness. The first category of approaches utilizes additional synonym annotations for table schemas by modifying the model input, while the second category is based on adversarial training. We demonstrate that both categories of approaches significantly outperform their counterparts without the defense, and the first category of approaches are more effective.

연구 동기 및 목표

• 실제 복수의 어휘적 변형을 반영한 자연어 질문에서 동의어 치환에 대한 텍스트-SQL 모델의 강건성에 대해 조사한다.
• 자연어 질문과 스키마 토큰 간 정확한 어휘 일치에 의존하는 기존 모델의 취약성을 규명한다.
• 악성 재훈련이 필요 없이 강건성을 향상시키는 방어 기법을 개발하고 평가한다.
• 가장자리의 악성 예제가 아닌 자연어의 다양성을 반영한 동의어 치환에 대한 신뢰할 수 있는 벤치마크를 제공한다.

제안 방법

• Spider 데이터셋의 질문에서 스키마 관련 단어를 의미적으로 동일한 동의어로 수작업으로 대체하여 Spider-Syn을 구성하며, 원본 SQL 쿼리는 그대로 유지한다.
• 표현된 다중 annotation 선택(MAS) 기법을 도입하여, 테이블 및 컬럼 이름에 대해 여러 동의어 변형을 모델 입력에 통합한다.
• Spider-Syn의 동의어 치환된 자연어 질문을 사용해 훈련 세트를 증강함으로써 악성 훈련을 적용한다.
• MAS에 대해 수작업 및 자동 동의어 annotation을 모두 사용하며, 수작업 annotation이 더 뛰어난 성능을 보였다.
• 모델을 Spider-Syn과 표준 악성 벤치마크에서 평가하여 강건성 향상 정도를 비교한다.
• GNN 기반 및 IRNet 기반 모델을 모두 구현하여 방어 기법의 일반화 능력을 다양한 아키텍처에서 테스트한다.

실험 결과

연구 질문

• RQ1 최신 기술 텍스트-SQL 모델의 성능가 동의어 치환이 실제 복수의 어휘적 변형을 반영한 자연어 질문에서 어떻게 영향을 받는가?
• RQ2 추가 훈련 없이 다중 annotation 선택(MAS)이 모델의 강건성을 향상시킬 수 있는가?
• RQ3 자동 동의어 치환 예제를 사용한 악성 훈련과 비교해 MAS는 강건성 향상에 얼마나 효과적인가?
• RQ4 GNN 및 IRNet 등의 다양한 모델 아키텍처에서 방어 기법의 효과성이 다를 수 있는가?
• RQ5 동의어 annotation의 품질(수작업 vs. 자동)이 모델의 강건성에 얼마나 큰 영향을 미치는가?

주요 결과

• 최신 기술 텍스트-SQL 모델은 Spider-Syn에서 정확도가 원래 Spider 벤치마크 대비 최대 30%까지 하락함을 확인하였다.
• IRNet 모델는 원본 Spider 데이터만으로 훈련된 경우 Spider-Syn에서 53.2%의 정확도를 기록하여 동의어 치환에 매우 취약한 것으로 나타났다.
• 수작업 동의어를 사용한 다중 annotation 선택(MAS)은 IRNet의 Spider-Syn 정확도를 49.7%로 향상시켰으며, 자동 동의어를 사용한 악성 훈련(44.3% 정확도)보다 뛰어난 성능을 보였다.
• 수작업 annotation을 사용한 MAS는 IRNet에서 39.3%의 정확도를 기록했으며, 자동 동의어를 사용한 악성 훈련(35.1% 정확도)보다 유의미하게 높은 성능을 보였다.
• MAS와 GNN 기반 모델의 조합은 Spider-Syn에서 44.0%의 정확도를 달성하여 다양한 아키텍처에서 효과적인 것으로 확인되었다.
• 제안된 다중 annotation 선택 기법은 악성 훈련보다 더 효과적이며 계산 비용도 낮아 실용적인 방어 전략으로서의 잠재력을 지녔다.