[論文レビュー] DC-BERT: Decoupling Question and Document for Efficient Contextual Encoding

Yuyu Zhang, Ping Nie+4 more|arXiv (Cornell University)|Feb 28, 2020

Topic Modeling参考文献 23被引用数 10

ひとこと要約

DC-BERTは、質問と文書を別々に処理するデカップリングされたBERTフレームワークを提案する。質問にはオンラインで、文書にはオフラインで専用のBERTモデルを用い、文書の表現をキャッシュすることで高速な検索を実現する。質問と文書の連結を学習可能なグローバル埋め込みとTransformerベースの相互作用に置き換えることで、標準のBERTベースの再ランク付け手法と比較して10倍以上の高速化を達成しながら、98%のQAパフォーマンスを維持する。

ABSTRACT

Recent studies on open-domain question answering have achieved prominent performance improvement using pre-trained language models such as BERT. State-of-the-art approaches typically follow the "retrieve and read" pipeline and employ BERT-based reranker to filter retrieved documents before feeding them into the reader module. The BERT retriever takes as input the concatenation of question and each retrieved document. Despite the success of these approaches in terms of QA accuracy, due to the concatenation, they can barely handle high-throughput of incoming questions each with a large collection of retrieved documents. To address the efficiency problem, we propose DC-BERT, a decoupled contextual encoding framework that has dual BERT models: an online BERT which encodes the question only once, and an offline BERT which pre-encodes all the documents and caches their encodings. On SQuAD Open and Natural Questions Open datasets, DC-BERT achieves 10x speedup on document retrieval, while retaining most (about 98%) of the QA performance compared to state-of-the-art approaches for open-domain question answering.

研究の動機と目的

• 同じ質問を毎回再エンコーディングする必要があるため、BERTベースの文書再ランク付け手法の非効率性を解消すること。
• 質問と文書のエンコーディングをデカップリングすることで、高スルーレートなオープンドメイン質問応答を実現すること。
• 推論遅延を著しく削減しながらも、高い検索および回答精度を維持すること。
• 局所的文脈エンコーディングと、学習可能な埋め込みおよびTransformerを用いたグローバルな質問-文書相互作用を組み合わせた新しいアーキテクチャを検討すること。

提案手法

• BERTを2つの独立したモデルに分解：質問のエンコーディングに使用するオンラインBERTと、すべての文書を事前にエンコーディング・キャッシュするオフラインBERT。
• 質問と文書を個別にエンコードする局所的BERT層を用い、低層で構文的・意味的情報を保持する。
• 質問と文書表現間のクロスアテンションをモデル化するため、トレーニング可能なグローバル位置およびタイプ埋め込みを導入する。
• デカップリングされたエンコーディングの上に複数のTransformer層を適用し、質問と文書の間の豊富な相互作用を可能にする。
• 文書のエンベッディングをオフラインでキャッシュすることで、推論時に繰り返しエンコードする必要を排除し、即時の検索を実現する。
• 効率性が最も重要な大規模な文書セットを含むクエリに対して、文書再ランク付けにこのフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 BERTにおける質問と文書のエンコーディングをデカップリングすることで、検索精度を損なわず推論遅延を低減できるか？
• RQ2 連結処理と比較して、学習可能なグローバル埋め込みとTransformer層による質問-文書相互作用の有効性はいかほどか？
• RQ3 デカップリングフレームワークにおいて、モデルの深さ（Transformer層の数）と推論速度のトレードオフはどのようなものか？
• RQ4 モデル圧縮や蒸留技術と比較して、デカップリングアプローチは速度とパフォーマンスの面でどのように優れているか？

主な発見

• DC-BERTは、標準のBERTベースの再ランク付け手法と比較して、文書検索において10倍以上の高速化を達成し、リアルタイム推論における遅延への影響は最小限に抑えられた。
• SQuAD OpenおよびNatural Questions Openのベンチマークにおいて、DC-BERTはBERT-baseベースラインの回答の正確一致（EM）パフォーマンスの98%を維持した。
• DC-BERTは、低容量のモデルであるにもかかわらず、量子化されたBERTおよびDistilBERTの両方を、検索および回答精度の面で上回った。
• アブレーションスタディの結果、線形またはLSTMベースの代替手法と比較して、Transformer層を用いた相互作用層が著しく優れたパフォーマンスを示した。
• 相互作用用のTransformer層の数を増やすことでQAパフォーマンスが向上するが、同時にスピードアップ効果が低下することが示され、容量と効率性の明確なトレードオフが確認された。