[논문 리뷰] Quda: Natural Language Queries for Visual Data Analytics

Siwei Fu, Kai Xiong외 4명|arXiv (Cornell University)|2020. 05. 07.

Data Visualization and Analytics참고 문헌 62인용 수 13

한 줄 요약

이 논문은 14,035개의 자연어 쿼리로 구성된 대규모 고품질 데이터셋인 Quda를 소개한다. 이 데이터셋은 시각적 데이터 분석에서 하나 이상의 분석 작업이 주어진 자연어 쿼리에 대해 애너테이션 처리되어 있다. 저자들은 인터뷰를 통해 전문가의 쿼리를 수집하고, 이를 커뮤니티 기반으로 한 파라프라즈(다른 표현)로 확장하며, 품질을 확보하기 위해 기계학습 기반의 검증 방법을 적용하여, 자연어 이해를 위한 다중 레이블 분류 모델의 훈련과 벤치마킹을 가능하게 한다.

ABSTRACT

The identification of analytic tasks from free text is critical for visualization-oriented natural language interfaces (V-NLIs) to suggest effective visualizations. However, it is challenging due to the ambiguity and complexity nature of human language. To address this challenge, we present a new dataset, called Quda, that aims to help V-NLIs recognize analytic tasks from free-form natural language by training and evaluating cutting-edge multi-label classification models. Our dataset contains $14,035$ diverse user queries, and each is annotated with one or multiple analytic tasks. We achieve this goal by first gathering seed queries with data analysts and then employing extensive crowd force for paraphrase generation and validation. We demonstrate the usefulness of Quda through three applications. This work is the first attempt to construct a large-scale corpus for recognizing analytic tasks. With the release of Quda, we hope it will boost the research and development of V-NLIs in data analysis and visualization.

연구 동기 및 목표

• 자연어 쿼리의 자유형 표현에서 분석 작업을 정확하게 식별하는 데 도전하는 데에 기여하기 위해.
• 실제 데이터 분석가의 쿼리와 그 의미적 변형을 반영하는 대규모 고품질 데이터셋을 구축하기 위해.
• 비주얼-자연어 인터페이스(V-NLI) 시스템에서 사용자 쿼리의 다중 레이블 분류를 위한 딥러닝 모델의 훈련과 평가를 가능하게 하기 위해.
• 쿼리 이해와 추천을 통해 시각화 추천 시스템의 강건성과 사용성을 향상시키기 위해.
• 향후 연구를 위한 기초를 마련하기 위해, 다중 대화, 맥락 기반 쿼리 이해 등을 포함한 데이터 시각화를 위한 자연어 인터페이스에 대해 연구하기 위해.

제안 방법

• 20명의 데이터 분석가를 대상으로 실험실 스터디를 수행하여 다양한 분석 작업을 반영하는 920개의 시드 쿼리를 수집하였다.
• 커뮤니티 기반으로 평균 14개의 파라프라즈를 생성하여 데이터의 다양성과 양을 증가시켰다.
• 파라프라즈 간의 의미적 동일성을 평가하기 위해 커뮤니티 워커를 활용한 쌍별 비교 방법을 적용하였다.
• 상대적 특성 방법(Relative Attribute Method, Parikh and Grauman, 2011)을 사용하여 의미적 동일성 점수를 계산하고, 저품질 파라프라즈를 걸러내었다.
• 모든 쿼리를 10개의 사전 정의된 저수준 분석 작업 중 하나 이상에 대해 애너테이션 처리하여 다중 레이블 분류를 가능하게 하였다.
• 최종 Quda 데이터셋을 기반으로 다중 레이블 분류 모델을 훈련하고 평가하여 모델 성능과 유용성을 평가하였다.

실험 결과

연구 질문

• RQ1 대규모 전문가 애너테이션 기반의 자연어 쿼리 데이터셋이 시각화 시스템에서 분석 작업 인식 정확도를 향상시키는가?
• RQ2 전문가 입력과 커뮤니티 기반 파라프라즈 생성을 융합한 하이브리드 접근법이 다양한 고품질 훈련 데이터를 생성하는 데 얼마나 효과적인가?
• RQ3 Quda 데이터셋이 V-NLI에서 강력한 쿼리 이해 및 추천 시스템 개발을 얼마나 잘 지원하는가?
• RQ4 Quda 데이터셋을 사용하여 다양한 데이터 테이블과 도메인에서 일반화 능력이 뛰어난 모델을 훈련시킬 수 있는가?
• RQ5 고품질 파라프라즈를 대규모로 효과적으로 검증하기 위해 어떤 방법이 필요한가?

주요 결과

• Quda 데이터셋은 총 14,035개의 쿼리로 구성되어 있으며, 전문가 쿼리 920개와 평균 14.14개의 파라프라즈를 포함하여 다양한 고도의 어휘적 다양성을 지닌 코퍼스를 형성하였다.
• 다중 레이블 분류에 있어 도전적인 데이터셋임을 확인하였으며, 이는 V-NLI 작업 인식을 위한 딥러닝 모델의 향상 여지를 시사한다.
• Quda를 기반으로 훈련된 모델은 기존 V-NLI 툴킷에서 작업 추론의 강건성을 크게 향상시켜, 엄격한 룰 기반 파싱에 의존하는 것을 줄였다.
• Quda를 기반으로 개발한 쿼리 추천 기법은 부분 입력 기반으로 의미적으로 유사한 관련 쿼리를 제안하여 사용자 인터랙션 속도를 향상시켰다.
• 쌍별 비교와 의미적 점수 계산을 통한 검증 파이프라인은 고용량임에도 불구하고 저품질 파라프라즈를 효과적으로 걸러내어 데이터셋의 품질을 확보하였다.
• 저자들은 Quda가 쿼리 추천 및 작업 인식과 같은 실용적 응용을 가능하게 하여, 단순 벤치마킹을 넘어서는 실용적 유용성을 입증하였다.