[論文レビュー] Autoregressive Entity Retrieval

Nicola De Cao, Gautier Izacard+2 more|arXiv (Cornell University)|Oct 2, 2020

Topic Modeling参考文献 65被引用数 200

ひとこと要約

GENRE は自己回帰モデルでエンティティの固有名をトークンごとに生成することによってエンティティを取得し、制約付きデコードを用いて有効なエンティティ識別子を出力し、ED、EL、およびドキュメント検索の分野で強力な結果を達成しつつ、メモリ使用量を大幅に削減します。

ABSTRACT

Entities are at the center of how we represent and aggregate knowledge. For instance, Encyclopedias such as Wikipedia are structured by entities (e.g., one per Wikipedia article). The ability to retrieve such entities given a query is fundamental for knowledge-intensive tasks such as entity linking and open-domain question answering. Current approaches can be understood as classifiers among atomic labels, one for each entity. Their weight vectors are dense entity representations produced by encoding entity meta information such as their descriptions. This approach has several shortcomings: (i) context and entity affinity is mainly captured through a vector dot product, potentially missing fine-grained interactions; (ii) a large memory footprint is needed to store dense representations when considering large entity sets; (iii) an appropriately hard set of negative data has to be subsampled at training time. In this work, we propose GENRE, the first system that retrieves entities by generating their unique names, left to right, token-by-token in an autoregressive fashion. This mitigates the aforementioned technical issues since: (i) the autoregressive formulation directly captures relations between context and entity name, effectively cross encoding both; (ii) the memory footprint is greatly reduced because the parameters of our encoder-decoder architecture scale with vocabulary size, not entity count; (iii) the softmax loss is computed without subsampling negative data. We experiment with more than 20 datasets on entity disambiguation, end-to-end entity linking and document retrieval tasks, achieving new state-of-the-art or very competitive results while using a tiny fraction of the memory footprint of competing systems. Finally, we demonstrate that new entities can be added by simply specifying their names. Code and pre-trained models at https://github.com/facebookresearch/GENRE.

研究の動機と目的

• 構造化され組成的なエンティティ名を活用することで、原子ラベル分類器を超えたより柔軟なエンティティ検索を動機づける。
• 入力文脈に条件づけられたエンティティ名を生成する自己回帰型 seq2seq フレームワーク（GENRE）を提案する。
• 事前に定義された候補集合からのみ有効なエンティティ識別子を生成する制約付きデコードを導入する。
• GENRE が ED、EL、およびドキュメント検索で強力な性能を発揮しつつ、メモリ使用量を大幅に削減することを示す。
• 新しいエンティティは候補集合にその明確な名前を追加するだけで組み込むことができることを示す。

提案手法

• エンティティ名を生成するようファインチューニングされた、言語モデリング目的で事前学習された（例：BART）トランスフォーマー型 seq2seq モデルを用いる。
• エンティティをそのテキスト名で表現し、入力 x に対してエンティティ e を、エンティティ名のトークン y に対する自己回帰的積 pθ(y|x) を介してスコア付けする。
• ネガティブサンプリングを用いず、標準的な seq2seq 目的関数（教師強制を伴う最大尤度）で訓練する。
• 推論時には、有効なエンティティ名の Trie に対する制約付きビーム探索を行い、候補集合内のエンティティのみを出力する。
• 生成出力が有効なエンティティ識別子であることを保証し、正確なソフトマックス計算を効率化するために制約付きデコードを適用する。
• 動的なエンティティ名トライを用いた動的なマークアップ出力で、自己回帰デコードをエンドツーエンドのエンティティリンクへ拡張する。

実験結果

リサーチクエスチョン

• RQ1 入力文脈に条件づけられた自己回帰モデルが ED、EL、およびドキュメント検索を効果的に実行するエンティティ名を生成できるか。
• RQ2 トライによる候補集合でのデコードを制約することが、スケール時のデコードの精度を保ちながら効率的なデコードを可能にするか。
• RQ3 GENRE は ED、EL、DR タスクにおける精度とメモリ footprint の観点で既存のバイエンコーダ／分類器ベースのリトリーバーとどのように比較されるか。
• RQ4 新しいエンティティを再学習せずに名前を追加するだけで組み込むことができるか。
• RQ5 訓練データの影響（例：BLINK での事前学習、ドメインデータセットでのファインチューニング）は ED/EL/DR の性能にどのように影響するか。

主な発見

• GENRE は ED、EL、ページレベルの DR の三つのタスクファミリーで、20を超えるデータセットに対して最先端または競争力のある結果を達成する。
• エンティティ名をインデックス化することで、1エンティティあたりの密なベクトルよりもメモリフットプリントを大幅に削減する（平均で約20倍小さい）。
• Trie 上の制約付きビーム探索により、出力を有効なエンティティ名に制限し、負サンプリングなしで正確なソフトマックス計算を可能にする。
• 構造化された、構成可能なエンティティ名の空間を用いることで、正確な言及名の重複が部分的または欠如している場合にも一般化が向上する。
• 新しいエンティティは候補セットにその明確な名前を追加するだけで再学習なしに組み込むことができる。
• DR タスク（KILT ベンチマーク）では、GENRE は強力なベースラインより平均で最大13.7の R-precision ポイントの改善を達成し、Natural Questions を除くデータセットで最良またはほぼ最良の成績を示す。
• ED では、GENRE はドメイン内データで控えめな改善を示す一方、ドメイン外設定でより大きな改善を示し、強いドメイン間の頑健性を示す。
• EL では、AIDA 内で最高を示し、いくつかのドメイン外データセット（例：Derczynski、KORE50）で大幅な改善を示す。
• アブレーションは、制約付きデコードと候補集合を使用することが、制約なしまたは候補なしの変種と比較して性能を大幅に改善することを示している。