[논문 리뷰] nvBench: A Large-Scale Synthesized Dataset for Cross-Domain Natural Language to Visualization Task

Yuyu Luo, Jiawei Tang외 1명|arXiv (Cornell University)|2021. 12. 24.

Data Visualization and Analytics인용 수 11

한 줄 요약

이 논문은 750개의 테이블과 105개의 도메인을 포함해 총 25,750개의 (NL, VIS) 쌍을 포함한, 교차 도메인 자연어에서 시각화로의 변환(NL2VIS) 작업을 위한 최초의 대규모 합성 벤치마크인 nvBench를 소개한다. 기존의 NL2SQL 벤치마크를 활용하여 다양하고 고품질의 (NL, VIS) 쌍을 자동으로 생성함으로써, ncNet과 같은 딥러닝 모델의 효과적인 훈련을 가능하게 하며, 이 모델은 NL2VIS 번역에서 인간 수준의 성능을 달성한다.

ABSTRACT

NL2VIS - which translates natural language (NL) queries to corresponding visualizations (VIS) - has attracted more and more attention both in commercial visualization vendors and academic researchers. In the last few years, the advanced deep learning-based models have achieved human-like abilities in many natural language processing (NLP) tasks, which clearly tells us that the deep learning-based technique is a good choice to push the field of NL2VIS. However, a big balk is the lack of benchmarks with lots of (NL, VIS) pairs. We present nvBench, the first large-scale NL2VIS benchmark, containing 25,750 (NL, VIS) pairs from 750 tables over 105 domains, synthesized from (NL, SQL) benchmarks to support cross-domain NL2VIS task. The quality of nvBench has been extensively validated by 23 experts and 300+ crowd workers. Deep learning-based models training using nvBench demonstrate that nvBench can push the field of NL2VIS.

연구 동기 및 목표

• 교차 도메인 자연어에서 시각화로의 변환(NL2VIS) 작업을 위한 대규모이고 고품질의 벤치마크 부족 문제를 해결한다.
• 다양하고 현실적인 (NL, VIS) 쌍을 제공함으로써 딥러닝 기반 모델이 강력한 NL2VIS 번역을 학습할 수 있도록 한다.
• 도메인과 시각화 유형 간에 일반화할 수 있는 엔드 투 엔드 신경망 모델의 개발을 지원한다.
• 확장 가능하고 유연한 벤치마크 기반을 제공함으로써 대화형 및 부족한 정보가 포함된 NL2VIS 연구를 촉진한다.
• 전문가 및 군중 작업자 평가를 통해 벤치마크의 품질을 검증하여 실세계 적용 가능성 확보

제안 방법

• 기존의 NL2SQL 벤치마크를 활용하여 SQL과 시각화 쿼리 간의 의미적 일치를 기반으로 (NL, VIS) 쌍을 합성한다.
• 각 자연어 쿼리를 해당하는 SQL 쿼리에 매핑한 후, 정의된 규칙을 사용하여 SQL을 Vega-Lite 호환 시각화 사양(VIS)으로 변환한다.
• 데이터 증강 기법을 적용하여 각 SQL 쿼리당 다수의 자연어 변형을 생성함으로써 다양성과 커버리지 증가.
• 이중 단계 프로세스를 사용한다: 첫 번째 단계에서는 템플릿 기반 및 어휘 재구성 방법을 활용해 SQL에서 자연어 쿼리를 생성하고, 두 번째 단계에서는 규칙 기반 시각화 생성 엔진을 통해 각 NL-SQL 쌍을 VIS 쿼리로 매핑한다.
• 전문가 리뷰(23명의 전문가)와 군중 작업(300명 이상의 작업자)을 통해 합성된 쌍의 품질과 정확성을 검증 및 필터링한다.
• 어텐션 메커니즘을 사용한 시퀀스 투 시퀀스 모델링을 활용해, 엔드 투 엔드 NL2VIS 번역을 학습하기 위해 nvBench에서 ncNet이라는 딥러닝 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 기존의 NL2SQL 벤치마크에서 수동 애너테이션 없이도 대규모이고 다양하며 고품질의 (NL, VIS) 벤치마크를 효율적으로 합성할 수 있는가?
• RQ2 nvBench에서 훈련된 딥러닝 모델이 교차 도메인 NL2VIS에서 인간 수준의 성능을 얼마나 달성할 수 있는가?
• RQ3 nvBench는 다양한 도메인, 시각화 유형, 쿼리 복잡도 수준에서 얼마나 잘 일반화되는가?
• RQ4 nvBench는 대화형 쿼리 및 정보가 모자른 쿼리 처리와 같은 고급 NL2VIS 기능을 지원할 수 있는가?
• RQ5 벤치마크의 품질과 규모가 엔드 투 엔드 NL2VIS 모델의 성능에 어떤 영향을 미치는가?

주요 결과

• nvBench는 750개의 테이블과 105개의 다양한 도메인을 포함해 총 25,750개의 (NL, VIS) 쌍을 포함하며, 이는 이전의 벤치마크보다 규모와 교차 도메인 커버리지 면에서 크게 뛰어나다.
• 23명의 전문가와 300명 이상의 군중 작업자를 활용한 평가를 통해 벤치마크의 품질이 검증되었으며, 합성된 (NL, VIS) 쌍의 높은 품질과 의미적 정확성이 확인되었다.
• nvBench에서 훈련된 딥러닝 모델인 ncNet은 NL2VIS 번역에서 인간 수준의 성능을 달성하였으며, 이는 벤치마크가 모델 훈련에 효과적이라는 것을 입증한다.
• 합성 파이프라인은 SQL에서 다양하고 자동으로 생성된 자연어 쿼리를 지원함으로써 확장성과 새로운 도메인 및 시각화 유형으로의 유연한 확장 가능성을 보장한다.
• nvBench는 선형도, 막대도, 산점도 등 7종의 일반적인 시각화 유형을 지원하며, 히트맵, 박스플롯, 복잡한 시각화로의 확장 가능성도 있다.
• 벤치마크는 부분적 또는 모호한 쿼리를 다룰 수 있는 모델링 기반의 기초를 제공하므로, 향후 대화형 NL2VIS 및 정보 부족 쿼리 처리 연구를 가능하게 한다.