[論文レビュー] HiTab: A Hierarchical Table Dataset for Question Answering and Natural Language Generation

Zhoujun Cheng, Haoyu Dong+7 more|arXiv (Cornell University)|Aug 15, 2021

Advanced Text Analysis Techniques被引用数 11

ひとこと要約

HiTab は、統計レポートおよび Wikipedia から抽出した階層的テーブルの大型でクロスドメインのデータセットを提供し、質問応答（QA）および自然言語生成（NLG）を目的として設計されている。エンティティおよび数量の細分化されたアライメントアノテーション、階層に配慮した論理形式、部分的教師あり学習を特徴とし、QAの正確性を 45.1% まで向上させるとともに、誤った予測や意味のない NLG 出力を大幅に削減した。

ABSTRACT

Tables are often created with hierarchies, but existing works on table reasoning mainly focus on flat tables and neglect hierarchical tables. Hierarchical tables challenge existing methods by hierarchical indexing, as well as implicit relationships of calculation and semantics. This work presents HiTab, a free and open dataset to study question answering (QA) and natural language generation (NLG) over hierarchical tables. HiTab is a cross-domain dataset constructed from a wealth of statistical reports (analyses) and Wikipedia pages, and has unique characteristics: (1) nearly all tables are hierarchical, and (2) both target sentences for NLG and questions for QA are revised from original, meaningful, and diverse descriptive sentences authored by analysts and professions of reports. (3) to reveal complex numerical reasoning in statistical analyses, we provide fine-grained annotations of entity and quantity alignment. HiTab provides 10,686 QA pairs and descriptive sentences with well-annotated quantity and entity alignment on 3,597 tables with broad coverage of table hierarchies and numerical reasoning types. Targeting hierarchical structure, we devise a novel hierarchy-aware logical form for symbolic reasoning over tables, which shows high effectiveness. Targeting complex numerical reasoning, we propose partially supervised training given annotations of entity and quantity alignment, which helps models to largely reduce spurious predictions in the QA task. In the NLG task, we find that entity and quantity alignment also helps NLG models to generate better results in a conditional generation setting. Experiment results of state-of-the-art baselines suggest that this dataset presents a strong challenge and a valuable benchmark for future research.

研究の動機と目的

• 階層的テーブルにおける質問応答（QA）および自然言語生成（NLG）のためのベンチマークデータセットが不足している問題に対処すること。階層的テーブルは統計レポートや研究論文に広く存在する。
• 合成的または手作業で作成された質問に依存するのではなく、実際の専門家が作成したレポートからの文を抽出・改変することで、現実的で多様性に富み、高品質なデータセットを構築すること。
• 自然言語テキストとテーブルセル間のエンティティおよび数量のアライメントに関する細分化されたアノテーションを導入し、テーブル推論を向上させること。
• スパurious予測を低減し、NLGにおける事実の整合性を向上させるために、階層に配慮した論理形式と部分的教師あり学習戦略を開発すること。
• 現実世界の複雑さを反映する挑戦的なベンチマークを確立すること。具体的には、数値推論、階層インデクシング、およびテーブル内の暗黙の意味的関係性を含む。

提案手法

• Statistics Canada（StatCan）、National Science Foundation（NSF）、および ToTTo データセット経由の Wikipedia から公開データソースを抽出し、階層的テーブルとその説明文を抽出することで HiTab を構築する。
• アノテーターが質問を完全に新たに作成するのではなく、実際のアナリストが作成した文を QA ペair に改変することで、自然さとドメインの関連性を保証する。
• 自然言語テキストの表記とテーブルセルとの間のエンティティアライメント（リンク）および数量アライメント（数値表現とテーブルセル、およびその計算的関係）の細分化されたアノテーションを導入する。
• 上部および左側のヘッダーを用いた多次元的・二重インデクシングを可能にする、階層に配慮した論理形式を設計し、記号的推論を支援する。
• エンティティおよび数量のアライメントを用いてモデルをガイドする部分的教師あり学習を実装し、QA におけるスパurious予測を低減するとともに、NLG における事実の整合性を向上させる。
• セルと計算タイプ（例：合計、割合）の両方に条件付けた NLG 生成を実装することで、より意味的で文脈に即したテキスト生成を可能にする。

実験結果

リサーチクエスチョン

• RQ1 統計レポートに記載された実際の専門家が作成した文から構築されたデータセットは、合成的または手作業で作成されたデータに比べ、階層的テーブル QA や NLG の文脈でより自然で多様なベンチマークとして機能するか？
• RQ2 エンティティおよび数量の細分化されたアライメントアノテーションは、階層的テーブルにおける QA や NLG モデルの性能と事実の整合性をどの程度向上させるか？
• RQ3 テーブルの階層の深さが QA や NLG の難易度に与える影響は何か？また、モデルは異なる階層の深さに一般化できるか？
• RQ4 階層に配慮した論理形式と部分的教師あり学習は、QA におけるスパurious予測と NLG における意味のない出力を顕著に低減できるか？
• RQ5 クロスドメインでの一般化は、階層的テーブル推論タスクにおけるモデル性能にどのような影響を及ぼすか？

主な発見

• HiTab は既存のベースラインに対して強い挑戦を提示しており、平坦なテーブルに最適化された論理形式を用いた MAPO では QA でわずか 29.2% の正確性にとどまる。
• 提案された階層に配慮した論理形式と部分的教師あり学習の組み合わせにより、QA の正確性が 45.1% まで向上し、スパurious予測も顕著に削減された。
• BLEU および PARENT スコアは階層の深さが増すと低下する—深さ 4 以上では 21.3 および 31.6 に低下—これは、より深い階層が NLG モデルにとってより大きな課題をもたらすことを示している。
• セルと計算タイプの条件付けを施した T5 の微調整は、16.9 の BLEU および 28.8 の PARENT スコアを達成し、BART を上回り、構造化された条件付けの利点を示している。
• クロスドメイン評価では、すべての指標で一貫した性能低下が観察され、ドメイン間での一般化の難しさが浮き彫りになった。
• データセットは公開レポートから倫理的に収集されており、個人情報の懸念はなく、厳密な人間によるアノテーションを経て、3,597 つのテーブルと 10,672 個のアノテート済み文を含んでいる。