[논문 리뷰] TableQnA: Answering List Intent Queries With Web Tables

Kaushik Chakrabarti, Zhimin Chen외 3명|arXiv (Cornell University)|2020. 01. 10.

Web Data Mining and Analysis참고 문헌 30인용 수 10

한 줄 요약

TableQnA는 웹 테이블을 사용하여 리스트 의도 및 초월 의도 웹 쿼리에 응답하기 위한 새로운 프레임워크를 제안한다. 이는 문장 태깅을 통한 의도 추출과 구조 인식 매칭을 활용하여 기존 기준 방법에 비해 정밀도와 커버리지가 크게 향상된다. 이 시스템은 최신 기술 수준의 성능을 달성하였으며, 2016년부터 마이크로소프트 빙에 도입되어 운영 중이다.

ABSTRACT

The web contains a vast corpus of HTML tables. They can be used to provide direct answers to many web queries. We focus on answering two classes of queries with those tables: those seeking lists of entities (e.g., `cities in california') and those seeking superlative entities (e.g., `largest city in california'). The main challenge is to achieve high precision with significant coverage. Existing approaches train machine learning models to select the answer from the candidates; they rely on textual match features between the query and the content of the table along with features capturing table quality/importance. These features alone are inadequate for achieving the above goals. Our main insight is that we can improve precision by (i) first extracting intent (structured information) from the query for the above query classes and (ii) then performing structure-aware matching (instead of just textual matching) between the extracted intent and the candidates to select the answer. We model (i) as a sequence tagging task. We leverage state-of-the-art deep neural network models with word embeddings. The model requires large scale training data which is expensive to obtain via manual labeling; we therefore develop a novel method to automatically generate the training data. For (ii), we develop novel features to compute structure-aware match and train a machine learning model. Our experiments on real-life web search queries show that (i) our intent extractor for list and superlative intent queries has significantly higher precision and coverage compared with baseline approaches and (ii) our table answer selector significantly outperforms the state-of-the-art baseline approach. This technology has been used in production by Microsoft's Bing search engine since 2016.

연구 동기 및 목표

• 웹 테이블을 사용하여 리스트 의도 및 초월 의도 쿼리에 대해 높은 정밀도와 넓은 커버리지로 응답하는 데 도전한다.
• 기존 방법이 텍스트 매칭과 테이블 품질 특징에만 의존하는 한계를 극복한다.
• 먼저 구조화된 쿼리 의도를 추출한 후 후보 테이블과 매칭하는 의도 인식 프레임워크를 개발한다.
• 수동 레이블링의 높은 비용을 감안해, 의도 추출을 위한 스케일러블하고 자동화된 훈련 데이터 생성 방법을 개발한다.
• 기존 텍스트 매칭 특징보다 우수한 예측 성능을 보이는 새로운 구조 인식 매칭 특징을 설계한다.

제안 방법

• 단어 임bedding을 사용한 딥 네트워크를 활용해 시퀀스 태깅 작업으로 의도 추출을 모델링하고, 수동 레이블링 비용을 줄이기 위해 자동으로 생성된 합성 데이터로 훈련한다.
• 쿼리의 의도(예: 엔티티 유형, 필터링 조건, 순위 기준 등)의 구조적 의미를 테이블 스키마 및 콘텐츠와 비교하는 새로운 구조 인식 매칭 특징을 개발한다.
• 텍스트 특징과 구조 인식 특징을 모두 조합하여 기계 학습 분류기를 사용해 최적의 테이블 응답을 선택한다.
• 규칙 기반 및 신경 히우리스틱을 사용해 규칙 기반 및 신경 히우리스틱을 활용해 쿼리-테이블 쌍을 합성하여 대규모 훈련 데이터를 자동으로 생성한다.
• 통계 모델링과 상관 분석의 호환성을 향상시키기 위해 비불리언 특징을 임계값을 기준으로 이진 특징으로 변환한다.
• 특징의 관련성을 특징 값과 정답 레이블 간 상관계수 분석을 통해 평가하여, 구조 인식 특징이 텍스트 특징보다 3배 높은 상관도(0.21 대 0.0698)를 보임을 확인한다.

실험 결과

연구 질문

• RQ1 의도 추출을 시퀀스 태깅을 통해 수행할 경우, 기존 기준 방법에 비해 리스트 의도 및 초월 의도 쿼리에 대해 정밀도와 커버리지가 크게 향상되는가?
• RQ2 구조 인식 매칭 특징이 기존 텍스트 매칭 특징보다 정확한 테이블 응답 선택에 더 우수한 성능을 보이는가?
• RQ3 높은 비용이 드는 수동 레이블링 없이도 합성 데이터 생성을 통해 고정밀도 의도 추출기 학습이 가능한가?
• RQ4 구조 인식 특징이 정확한 테이블 응답 예측에 텍스트 매칭 특징보다 얼마나 우수한가?
• RQ5 통합된 아키텍처를 통해 동일한 핵심 구성 요소로 리스트 의도 및 초월 의도 쿼리를 효과적으로 처리할 수 있는가?

주요 결과

• 제안된 의도 추출기는 리스트 및 초월 의도 쿼리에 대해 기존 기준 방법에 비해 유의미하게 높은 정밀도와 커버리지 성능을 달성한다.
• 구조 인식 매칭 특징은 정답 레이블과 0.21의 상관도를 보이며, 이는 텍스트 매칭 특징의 0.0698 상관도보다 3배 높다.
• 실제 웹 검색 쿼리에서 테이블 응답 선택기 성능이 최신 기술 수준의 기준 방법보다 정밀도와 재현율 모두에서 뛰어나다.
• 2016년부터 마이크로소프트 빙에 성공적으로 도입되어 대규모 웹 검색 환경에서의 실용성과 타당성을 입증하였다.
• 자동 생성된 훈련 데이터의 사용으로 고비용 수동 레이블링에 의존하지 않고도 고품질의 의도 모델링이 가능하다.
• 통합 아키텍처를 통해 리스트 의도 및 초월 의도 쿼리를 효과적으로 처리할 수 있으며, 광범위한 적용 가능성을 보였다.