[論文レビュー] Iterative Hierarchical Attention for Answering Complex Questions over Long Documents

Haitian Sun, William W. Cohen+1 more|arXiv (Cornell University)|Jun 1, 2021

Topic Modeling参考文献 30被引用数 5

ひとこと要約

この論文では、テキストを連結するのではなく、連続的埋め込み空間でクエリを更新することで、長大で構造的なドキュメント上での複雑なマルチホップ質問に答える、新しい反復的階層的アテンションモデルであるDocHopperを提案する。DocHopperは、QASPER、HybridQA、ShARC、HotpotQAの4つのベンチマークデータセットにおいて、ベースラインを3–5%上回る最先端の性能を達成しており、ドキュメント表現を事前計算することで推論が3–10倍速いため、計算コストを大幅に削減している。

ABSTRACT

We propose a new model, DocHopper, that iteratively attends to different parts of long, hierarchically structured documents to answer complex questions. Similar to multi-hop question-answering (QA) systems, at each step, DocHopper uses a query $q$ to attend to information from a document, combines this ``retrieved'' information with $q$ to produce the next query. However, in contrast to most previous multi-hop QA systems, DocHopper is able to ``retrieve'' either short passages or long sections of the document, thus emulating a multi-step process of ``navigating'' through a long document to answer a question. To enable this novel behavior, DocHopper does not combine document information with $q$ by concatenating text to the text of $q$, but by combining a compact neural representation of $q$ with a compact neural representation of a hierarchical part of the document, which can potentially be quite large. We experiment with DocHopper on four different QA tasks that require reading long and complex documents to answer multi-hop questions, and show that DocHopper achieves state-of-the-art results on three of the datasets. Additionally, DocHopper is efficient at inference time, being 3--10 times faster than the baselines.

研究の動機と目的

• 研究論文、法的文書、政策文書などの長大で階層的な構造を持つドキュメント上での複雑なマルチホップ質問に答える課題に対処すること。
• クエリの精緻化にテキスト連結に依存する既存のマルチホップQAモデルは非効率的で、構造的関係を捉えきれないことへの改善を図ること。
• 階層的アテンションと連続的ベクトル空間における反復的クエリ更新を組み合わせることで、ドキュメントのセクションを効率的かつ効果的にナビゲートできること。
• 追加の微調整なしに、ETCのような事前学習済みモデルを活用して、長文ドキュメントQAタスクで高い性能を達成すること。

提案手法

• DocHopperは、ETCに基づく階層的トランスフォーマーエンコーダーを用い、段落やより高いレベルのセクションといった複数のレベルでドキュメントセクションのコンactなニューラル表現を生成する。
• 各反復において、モデルは階層的アテンションを実行し、現在のクエリ埋め込みに基づいて関連するドキュメント部分に注目する。この際、短いパassageや広いセクションのどちらかを選択する。
• 取得したテキストを質問に連結するのではなく、DocHopperはアテンションされたドキュメント部分のニューラル表現と組み合わせることで、埋め込み空間内でクエリベクトルを更新する。
• モデルは、各ステップでアテンションされた埋め込みを学習可能なアテンション重みを用いて線形結合することで、累積的コンテキストベクトルを維持する。この重みはクエリベースのアテンションメカニズムによって計算される。
• 最終的な予測は、集約されたコンテキストベクトルに分類器ヘッドを適用することで行われ、プロセス全体で端末から端末への微分可能性が保たれる。
• ドキュメント表現は事前計算されるため、各例に対してドキュメントを再処理する必要がなく、推論が3–10倍速くなる。

実験結果

リサーチクエスチョン

• RQ1 テキスト連結ベースの手法と比較して、連続的埋め込み空間でのクエリ更新を伴う反復的階層アテンションは、長大で構造的なドキュメント上での複雑なマルチホップQAの性能向上に寄与するか？
• RQ2 段落とセクションといった階層的ドキュメント表現は、複雑な質問解決において構造的コンテキストを効果的に捉えられるか？
• RQ3 トークン連結による更新ではなく、埋め込み空間でのクエリ更新は、長文ドキュメントQAにおける一般化性能と推論速度の向上に寄与するか？
• RQ4 事前学習済みETCスタイルエンコーダーの上に構築されたモデルは、追加の微調整なしに多様な長文ドキュメントQAベンチマークで最先端の結果を達成できるか？
• RQ5 検索・読解パイプラインや逐次的チャンク読み込みベースラインと比較して、モデルの性能と効率性はどの程度か？

主な発見

• DocHopperは、評価された4つのデータセットのうち3つ（QASPER、HybridQA、ShARC）で最先端の性能を達成し、ベースラインを3–5%上回る精度を実現した。
• HotpotQAデータセットでは、多様な長文ドキュメントQAタスクに強い一般化能力を示し、競争力ある結果を達成した。
• ドキュメント表現を事前計算しているため、推論時間がベースラインより3–10倍速く、計算コストを顕著に削減した。
• アブレーションスタディの結果、階層的アテンション機構と埋め込み空間でのクエリ更新が性能向上の鍵であることが確認され、証拠抽出精度に顕著な向上が見られた。
• 不要なチャンクに過剰に適合することなく、予測に対する高い信頼性を維持した。これは、逐次的読み込みベースラインがしばしば関連のないコンテンツを正例と誤分類するのとは対照的であった。
• すべての実験は1つのGPUで実施され、追加の微調整なしに最先端の結果を達成した。これは、その効率性と実用的展開可能性を示している。