[論文レビュー] Multi-Row, Multi-Span Distant Supervision For Table+Text Question

Vishwajeet Kumar, Yash P. Gupta+5 more|arXiv (Cornell University)|Dec 14, 2021

Topic Modeling被引用数 4

ひとこと要約

MITQA は、マルチインスタンス損失およびカリキュラム学習を用いて、マルチローおよびマルチスパンの遠隔教師あり設定におけるノイズの多い教師信号を扱う、トランスフォーマー基盤の TextTableQA システムです。HybridQA および OTT-QA の両ベンチマークで最先端の性能を達成し、HybridQA ライドラインで最高の EM および F1 スコアを記録しています。

ABSTRACT

Question answering (QA) over tables and linked text, also called TextTableQA, has witnessed significant research in recent years, as tables are often found embedded in documents along with related text. HybridQA and OTT-QA are the two best-known TextTableQA datasets, with questions that are best answered by combining information from both table cells and linked text passages. A common challenge in both datasets, and TextTableQA in general, is that the training instances include just the question and answer, where the gold answer may match not only multiple table cells across table rows but also multiple text spans within the scope of a table row and its associated text. This leads to a noisy multi instance training regime. We present MITQA, a transformer-based TextTableQA system that is explicitly designed to cope with distant supervision along both these axes, through a multi-instance loss objective, together with careful curriculum design. Our experiments show that the proposed multi-instance distant supervision approach helps MITQA get state-of-the-art results beating the existing baselines for both HybridQA and OTT-QA, putting MITQA at the top of HybridQA leaderboard with best EM and F1 scores on a held out test set.

研究の動機と目的

• TextTableQA におけるノイズの多いマルチインスタンス教師信号の課題に対処すること。ここでの答えは、複数の表の行および関連テキストスパンにまたがる可能性がある。
• トレーニング中に複数の行および複数のスパンにまたがる答えの一致を明示的にモデル化することで、ハイブリッドテーブル・テキストQAにおけるモデルの頑健性と精度を向上させること。
• 正確なセルやスパンレベルの教師信号を必要としない遠隔教師あり学習を活用することで、人的アノテーションの負担を軽減すること。
• 検索と読解のコンponentを分離したモジュラーでトレーナブルなパイプラインを設計し、最適化と解釈可能性を向上させること。

提案手法

• MITQA は、各表の行とその関連するテキストパassageを1つのリトリーブユニットとして扱い、ハイブリッドコンテキストの構造的処理を可能にします。
• トランスフォーマーへの入力前に、クエリに依存するパassageフィルタを用いてコンテキスト長を短縮し、最も関連性の高いスパンのみを保持します。
• トレーニング時に複数の有効な答えスパンが異なる行やパassageに分散している状況に対応するため、マルチインスタンス損失関数を適用します。
• 答えの局所化を向上させるために、質問とコンテキスト表現の間で初期相互作用（クロスアテンション）を導入します。
• 段階的にトレーニングの複雑さを増やすカリキュラム学習戦略を適用し、収束性と一般化性能を向上させます。
• 複数の行とその関連パassageからの予測を統合して最終的な答えを選択する、答えのリランカーを組み込みます。

実験結果

リサーチクエスチョン

• RQ1 答えが関連する複数の表の行と複数のスパンに分散する状況において、TextTableQA システムはどのようにして遠隔教師あり学習を効果的に処理できるか？
• RQ2 トレーニング時に複数の有効な答えインスタンスをモデル化することで、マルチインスタンス損失関数がモデル性能を向上させられるか？
• RQ3 クエリに依存するパassageフィルタリングは、関連するコンテキストを保持しノイズを低減することで、答え抽出の正確性を向上させるか？
• RQ4 カリキュラム学習は、マルチインスタンス TextTableQA において、トレーニングの安定性と性能をどの程度向上させるか？
• RQ5 エラーの累積が懸念される非エンドツーエンド設計であっても、モジュラーで非エンドツーエンドの設計が TextTableQA で最先端の結果を達成できるか？

主な発見

• MITQA は HybridQA ライドラインで最先端の性能を達成し、保留テストセットで最高のエクサクトマッチ（EM）および F1 スコアを記録しました。
• マルチインスタンス損失は、標準的なクロスエントロピー損失と比較して、行検索の正確性を約 2% 向上させました。
• パassageフィルタリングにより、関連するコンテキストを保持し、切り出しに起因する情報損失を低減することで、行検索の正確性が約 3% 向上しました。
• マルチインスタンス損失とパassageフィルタリングの組み合わせにより、HybridQA デベロップメントセットでの行検索正確性は 86.38% にまで向上しました。
• MITQA は HybridQA および OTT-QA の両方で HYBRIDER や他の既存のベースラインを上回り、ベンチマーク間での強力な一般化性能を示しました。
• 事例による観察では、MITQA は HYBRIDER が複数の行にまたがる誤った一致により失敗する複雑なケースにおいても正しく答えを特定していることがわかりました。