[論文レビュー] NeurIPS 2020 EfficientQA Competition: Systems, Analyses and Lessons Learned

Sewon Min, Jordan Boyd‐Graber+51 more|arXiv (Cornell University)|Jan 1, 2021

Topic Modeling参考文献 43被引用数 64

ひとこと要約

EfficientQAのオープンドメインQA競技会NeurIPS 2020の包括的な報告で、メモリ予算内のシステム、取得- reader アーキテクチャ、評価（自動および人的）、オープンドメインQAにおけるあいまいさの洞察を詳述。

ABSTRACT

We review the EfficientQA competition from NeurIPS 2020. The competition focused on open-domain question answering (QA), where systems take natural language questions as input and return natural language answers. The aim of the competition was to build systems that can predict correct answers while also satisfying strict on-disk memory budgets. These memory budgets were designed to encourage contestants to explore the trade-off between storing retrieval corpora or the parameters of learned models. In this report, we describe the motivation and organization of the competition, review the best submissions, and analyze system predictions to inform a discussion of evaluation for open-domain QA.

研究の動機と目的

• メモリ効率の高いオープンドメインQA競技を動機づけ、組織する。
• 無制限トラックとメモリ制約付きトラックの上位提出物を調査する。
• 自動指標と人間の判断の両方で予測を評価し、あいまいさの下での正確性を理解する。
• システムの予測を人間のトリビア専門家と比較し、上限と実用的な性能を評価する。

提案手法

• 競技の設定、トラック、メモリ予算を説明する。
• リトリーバル-リーダー設計の主要参加システムを要約する。
• 正確性を厳密一致メトリクス以上で評価する人間評価スキームを導入する。
• 自動評価と人間評価のギャップと質問のあいまいさの影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 メモリ予算はオープンドメインQAにおけるretrievalと推論戦略にどのように影響するか？
• RQ2 どの取得および読取アーキテクチャが異なるメモリ制約下で最も高い精度を発揮するか？
• RQ3 自動の正確一致メトリクスはオープンドメインQAにおける真の正解性をどの程度反映するか、そして人間の判断はどう異なるか？
• RQ4 質問のあいまいさはQA評価とシステムランキングにどのような影響を与えるか？

主な発見

Track	Model	Automatic eval	Human eval - Definitely	Human eval - Possibly
Unrestricted	MS UnitedQA	54.00	65.80 (+21.9%)	78.12 (+44.7%)
Unrestricted	FB Hybrid	53.89	67.38 (+25.0%)	79.88 (+48.2%)
6GiB	FB system	53.33	65.18 (+22.2%)	76.09 (+42.7%)
6GiB	Ousia-Tohoku Soseki	50.17	62.01 (+23.6%)	73.83 (+47.2%)
6GiB	BUT R2-D2	47.28	58.96 (+24.7%)	70.33 (+49.2%)
500MiB	NAVER RDR	32.06	42.23 (+31.7%)	54.95 (+71.4%)
500MiB	UCLNLP-FB system (29M)	33.44	39.40 (+17.8%)	47.37 (+41.7%)
25% smallest	UCLNLP-FB system (29M)	26.78	32.45 (+21.2%)	41.21 (+53.9%))

• トラックを超えた上位提出物は、リトリーバル強化生成と圧縮技術を活用し、基準よりも最大約20%の精度向上を達成した。
• 無制限および6GiBトラックは近いパフォーマンスを示し、強力な圧縮と剪定が精度を維持できることを示唆している。
• 自動評価は意味的に同等または文脈依存の回答の正確性を過小評価することがあり、人間の評価は顕著な向上を示す（最大約25%の追加正確性、妥当な正解とみなせる回答を考慮すると約54%まで）。
• あいまいさとオープンドメイン質問の時間依存性は評価とランキングに大きく影響する；正確性の定義次第で人間評価者間の一致は中程度。
• 密集/多様な取得戦略を組み合わせたシステムは相補的な誤りを生み、アンサンブルの可能性を高める。
• メモリ効率的なシステム（500MiB、最小の25%）はコーパス剪定とモデル/埋め込み圧縮を積極的に行うことで競争力のある精度を達成できる。