[論文レビュー] Delaying Interaction Layers in Transformer-based Encoders for Efficient Open Domain Question Answering

Wissam Siblini, Mohamed Challal+1 more|arXiv (Cornell University)|Oct 16, 2020

Topic Modeling参考文献 41被引用数 4

ひとこと要約

本稿では、オープンドメイン質問応答（ODQA）における効率性を向上させるために、BERTおよびALBERTモデルに遅延相互作用層（DIL）を提案する。自己注意計算を後続の層に延期することで、FLOPsを最大85％削減し、CPU/GPUで最大10倍の高速化を達成しながら、OpenSQuADのようなマルチパスセージODQAベンチマークで性能を維持または向上させる。

ABSTRACT

Open Domain Question Answering (ODQA) on a large-scale corpus of documents (e.g. Wikipedia) is a key challenge in computer science. Although transformer-based language models such as Bert have shown on SQuAD the ability to surpass humans for extracting answers in small passages of text, they suffer from their high complexity when faced to a much larger search space. The most common way to tackle this problem is to add a preliminary Information Retrieval step to heavily filter the corpus and only keep the relevant passages. In this paper, we propose a more direct and complementary solution which consists in applying a generic change in the architecture of transformer-based models to delay the attention between subparts of the input and allow a more efficient management of computations. The resulting variants are competitive with the original models on the extractive task and allow, on the ODQA setting, a significant speedup and even a performance improvement in many cases.

研究の動機と目的

• オープンドメイン質問応答（ODQA）において、数百万件の文書パラグラフをリアルタイムで処理することが不可能なため、トランスフォーマー基盤モデルの高い計算コストに対処すること。
• Wikipediaのような大規模コーパスに適用する際、抽出型QAモデルの推論が遅いため、そのボトル neck を克服すること。
• 特にマルチパス設定において、答えの正確性を損なわず、計算量を削減するアーキテクチャ的変更を検討すること。
• 既存の事前学習モデルと互換性があり、標準ベンチマークで性能を維持する、汎用的で、微調整のみを必要とする高速推論手法を開発すること。
• 注意計算の遅延が、関係のない文書や複数の文書に対する一般化を向上させ、単一の関連文書に過剰適合するのを減らすかどうかを調査すること。

提案手法

• トランスフォーマーエンコーダーの最後のk層でのみ自己注意計算を制限する、遅延相互作用層（DIL）機構を導入。最初の(12-k)層は、クロスセグメント注意を用いず、入力を処理する。
• DIL機構をBERTおよびALBERTアーキテクチャに適用し、事前学習済み重みを保持するDilBERTおよびDilALBERTバージョンを構築。これらは下流のQAタスクでのみ微調整される。
• 標準的なリトリーバ（Lucene + BM25）を用いて上位-p件の関連文書を取得し、その後、DilBERT/DilALBERTリーダーを用いてこれらのパラグラフから答えを抽出する。
• 特にCPUやリソースが限られた環境において、FLOPsとメモリ使用量を大幅に削減するために、注意計算を最後のk層（例：k=2）に限定する。
• 元のモデルと同一のモデルアーキテクチャおよびヘッド構造を維持することで、既存の事前学習済み重みおよび微調整プロセスとの互換性を確保する。
• SQuAD v1.1で訓練し、OpenSQuADで微調整する。スパン予測のための標準的な交差エントロピー損失を用い、単一およびマルチパス設定の両方で性能をモニタリングする。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーエンコーダーにおいて、自己注意計算を後続の層に延期することで、ODQAの推論時間を著しく短縮できるか、かつ答えの正確性が低下しないか？
• RQ2 DIL機構は、複数または関係のない文書に対する一般化を向上させ、単一の関連文書に過剰適合するのを減らすか？
• RQ3 DIL機構は、SQuAD v1.1のような標準的な抽出型QAベンチマークで、元のモデルと比較してどの程度の性能を維持するか？
• RQ4 DILバージョンは、特にOpenSQuADにおけるマルチパスODQA設定で、標準のBERT/ALBERTと比較してどの程度の性能を示すか？
• RQ5 DIL機構は、再トレーニングやアーキテクチャの再設計を必要とせず、他のトランスフォーマー基盤モデルにも汎用的に適用可能か？

主な発見

• DilBERTおよびDilALBERTは、ODQAタスクを処理する際、CPUおよびGPUで最大10倍の推論時間の高速化を達成。k=10の場合、FLOPsが6倍（85％）削減された。
• SQuAD v1.1ベンチマークでは、DilBERTおよびDilALBERTは競争力のある性能を示し、単一パスQAにおける正確一致（EM）およびF1スコアにわずかな低下しか見られない。これは、標準タスクでの性能劣化が最小限であることを示している。
• OpenSQuADベンチマークでは、複数の関連パラグラフから答えを選択する際、DilBERTおよびDilALBERTがベースモデルを上回る性能を発揮し、一般化性能の向上が確認された。
• DIL機構により、単一の関連文書への過剰適合が軽減され、複数の文書に対して一貫した予測がなされ、不要な文脈に対して感受性が低下していることが裏付けられた。
• 著者らは、Lucene + BERTベースラインのOpenSQuADでの結果が、エンジニアリング最適化により改善されたと報告しているが、DILバージョンは依然として著しく高速な推論を実現し、最先端の性能を達成している。
• 本手法は汎用的であり、既存の事前学習モデルと互換性があり、再トレーニングや大規模な事前学習データへのアクセスなしに、展開が可能である。