[論文レビュー] TableQnA: Answering List Intent Queries With Web Tables

Kaushik Chakrabarti, Zhimin Chen+3 more|arXiv (Cornell University)|Jan 10, 2020

Web Data Mining and Analysis参考文献 30被引用数 10

ひとこと要約

TableQnAは、ウェブテーブルを用いてリスト意図およびスーパークラス意図のウェブクエリに応答するための新規フレームワークを提示する。シーケンスタギングによる意図抽出と構造に配慮したマッチングを活用することで、ベースライン手法に比べて精度とカバレッジを顕著に向上させる。このシステムは、2016年からマイクロソフトBingに導入されており、最先端のパフォーマンスを達成している。

ABSTRACT

The web contains a vast corpus of HTML tables. They can be used to provide direct answers to many web queries. We focus on answering two classes of queries with those tables: those seeking lists of entities (e.g., `cities in california') and those seeking superlative entities (e.g., `largest city in california'). The main challenge is to achieve high precision with significant coverage. Existing approaches train machine learning models to select the answer from the candidates; they rely on textual match features between the query and the content of the table along with features capturing table quality/importance. These features alone are inadequate for achieving the above goals. Our main insight is that we can improve precision by (i) first extracting intent (structured information) from the query for the above query classes and (ii) then performing structure-aware matching (instead of just textual matching) between the extracted intent and the candidates to select the answer. We model (i) as a sequence tagging task. We leverage state-of-the-art deep neural network models with word embeddings. The model requires large scale training data which is expensive to obtain via manual labeling; we therefore develop a novel method to automatically generate the training data. For (ii), we develop novel features to compute structure-aware match and train a machine learning model. Our experiments on real-life web search queries show that (i) our intent extractor for list and superlative intent queries has significantly higher precision and coverage compared with baseline approaches and (ii) our table answer selector significantly outperforms the state-of-the-art baseline approach. This technology has been used in production by Microsoft's Bing search engine since 2016.

研究の動機と目的

• ウェブテーブルを用いて、高精度かつ広範なカバレッジでリスト意図およびスーパークラス意図のクエリに応答する課題に対処すること。
• テキストマッチングとテーブル品質特徴量に依存する既存手法の限界を克服すること。
• まず構造的なクエリ意図を抽出する意図に配慮したフレームワークを構築すること。
• 手動ラベル付けの高コストを考慮し、意図抽出のための大規模な自動トレーニングデータ生成方法を確立すること。
• 従来のテキストマッチング特徴量よりも優れた予測性能を示す、新しい構造に配慮したマッチング特徴量を設計すること。

提案手法

• 単語埋め込みを用いた深層ニューラルネットワークを用いて、ラベル付けコストを回避するための自動生成された合成データでトレーニングされたシーケンスタギングタスクとして意図抽出を定式化する。
• クエリの意図（例：エンティティタイプ、フィルタリング、ランク付け基準）の構造的意味を、テーブルスキーマおよびコンテンツと比較する、新しい構造に配慮したマッチング特徴量を開発する。
• テキスト特徴量と構造に配慮した特徴量の両方を組み合わせて、機械学習分類器を用いて候補テーブルの中から最良の答えを選択する。
• ルールベースおよびニューラルヒューリスティクスを用いて、規則に基づいてクエリ-テーブルペアを合成することで、意図タギングのための大規模なトレーニングデータを自動生成する。
• 統計的モデリングおよび相関分析との互換性を向上させるために、非ブール型特徴量をしきい値処理によりバイナリ特徴量に変換する。
• 特徴量の関連性を、特徴量値と正例ラベルとの間の相関分析を用いて評価し、構造に配慮した特徴量がテキスト特徴量よりも3倍高い相関（0.21 対 0.0698）を示していることが判明した。

実験結果

リサーチクエスチョン

• RQ1 シーケンスタギングによる意図抽出は、ベースライン手法に比べて、リスト意図およびスーパークラス意図クエリの精度とカバレッジを顕著に向上させることができるか？
• RQ2 構造に配慮したマッチング特徴量は、従来のテキストマッチング特徴量に比べて、正確なテーブル回答の選択において優れているか？
• RQ3 高コストな手動ラベル付けを用いずに、合成データ生成を用いて高精度な意図抽出器をトレーニングすることが可能か？
• RQ4 構造に配慮した特徴量は、テキストマッチング特徴量に比べて、正しいテーブル回答の予測においてどのように優れているか？
• RQ5 統一されたアーキテクチャで、同じコアコンponentsを用いてリスト意図およびスーパークラス意図クエリの両方を効果的に処理できるか？

主な発見

• 提案された意図抽出器は、リストおよびスーパークラス意図クエリにおいて、ベースラインアプローチに比べて顕著に高い精度とカバレッジを達成した。
• 構造に配慮したマッチング特徴量は、正例ラベルとの相関が0.21であり、テキスト特徴量の0.0698に比べて3倍高い相関を示した。
• テーブル回答選択器は、実世界のウェブ検索クエリにおいて、最先端のベースライン手法に比べて精度とリコールの両方で優れた性能を示した。
• このシステムは2016年からマイクロソフトBingに正常に導入されており、大規模なウェブ検索における生産環境での実用性を実証した。
• 自動生成されたトレーニングデータの使用により、高価な手動アノテーションに依存せずに高品質な意図モデリングが可能となった。
• 統一されたアーキテクチャ下で、リスト意図およびスーパークラス意図クエリの両方を効果的に処理でき、広範な適用可能性を示した。