[論文レビュー] TWEAC: Transformer with Extendable QA Agent Classifiers

Gregor Geigle, Nils Reimers+2 more|TUbilio (Technical University of Darmstadt)|Apr 14, 2021

Topic Modeling参考文献 32被引用数 6

ひとこと要約

TWEACは、スケーラブルで拡張可能なTransformerベースの分類器を用いて、多様な専門QAエージェントのアンサンブルから動的に最適なエージェントを選択するメタ質問応答システムを提案する。1エージェントあたりたった1,000件の訓練例でのみ94%の正確性を達成し、完全な再訓練を伴わずに100以上のエージェントへもスケーラブルに拡張可能であり、オープンドメイン環境における効率的で正確かつ拡張可能なQAルーティングを実現する。

ABSTRACT

Question answering systems should help users to access knowledge on a broad range of topics and to answer a wide array of different questions. Most systems fall short of this expectation as they are only specialized in one particular setting, e.g., answering factual questions with Wikipedia data. To overcome this limitation, we propose composing multiple QA agents within a meta-QA system. We argue that there exist a wide range of specialized QA agents in literature. Thus, we address the central research question of how to effectively and efficiently identify suitable QA agents for any given question. We study both supervised and unsupervised approaches to address this challenge, showing that TWEAC -- Transformer with Extendable Agent Classifiers -- achieves the best performance overall with 94% accuracy. We provide extensive insights on the scalability of TWEAC, demonstrating that it scales robustly to over 100 QA agents with each providing just 1000 examples of questions they can answer. Our code and data is available: https://github.com/UKPLab/TWEAC-qa-agent-selection

研究の動機と目的

• 既存のQAシステムが狭いドメインやデータソースに限定されているという制限を解決すること。
• 多様なアンサンブルから最も適切な専門QAエージェントに質問をルーティングできるメタQAシステムを実現すること。
• 限られた訓練データでも、拡張可能でスケーラブルかつデータ効率の高いシステムを設計すること。
• 数100のQAエージェントを含む大規模かつ現実的な条件下で、エージェント選択の性能を評価すること。
• 完全な再トレーニングなしに新しいエージェントをモデルに統合する戦略を検討し、実用的な展開を可能にすること。

提案手法

• TWEACは、与えられた質問に対して最も関連性の高いQAエージェントを予測するために微調整されたTransformerベースの分類器を採用する。
• モデルは、文のエンコーダーから得られる質問の埋め込みとBM25特徴量を用いて、意味的および語彙的関連性を捉えるように訓練される。
• 半分ずつのサンプリング戦略により、フルデータセットのわずかな割合を用いることで、新しいQAエージェントの追加に伴うモデルの段階的拡張が可能となり、完全な再トレーニングを回避できる。
• システムはQAエージェントをブラックボックスとして扱い、内部のエージェントアーキテクチャを変更せずに、質問からエージェントへのマッピングに焦点を当てる。
• 監視ありおよび非監視ありの両方のエージェント選択をサポートし、TWEACは類似度ベースのベースラインを上回る性能を示す。
• モデルは2つの大規模データセット（171のRedditサブレdditと200のStackExchangeフォーラム）で評価され、現実世界の多様性を模倣している。

実験結果

リサーチクエスチョン

• RQ1 大規模な専門エージェントのアンサンブルの中から、与えられた質問に対して効果的かつ効率的に最も適切なQAエージェントを特定するにはどうすればよいか？
• RQ2 1エージェントあたりの訓練データが限られている状況でも、100以上のエージェントに拡張する際、QAエージェント選択モデルが正確性とスケーラビリティを維持できる範囲はどの程度か？
• RQ3 完全な再トレーニングなしに、インクリメンタルな更新が可能な状態で、微調整されたTransformerモデルが高精度なエージェント選択を達成できるか？
• RQ4 QAエージェント間のトピックの重複がモデルの性能に与える影響は何か？また、人間のパフォーマンスは、モデルの誤りをベンチマークとして利用できるか？
• RQ5 エージェントセットの拡張において、正確性と訓練効率の最良のトレードオフを実現する訓練戦略は何か？

主な発見

• TWEACは、RedditおよびStackExchangeの両評価環境において、すべてのベースラインを上回り、94%の正確性で正しいQAエージェントを特定する。
• モデルは1エージェントあたりたった1,000件のラベル付き例でのみ高いデータ効率を示す。
• TWEACは100以上のQAエージェントへもスケーラブルに拡張可能であり、エージェント数の増加に伴い性能がわずかに低下するにとどまる。
• 半分ずつのサンプリング戦略により、一定の訓練時間で効率的な段階的トレーニングが可能となり、新しいエージェントを追加する際の完全な再トレーニングの必要性が削減される。
• 誤りのうち10%が、ユニークなエージェントペアのうち0.5%に起因しており、主に英語学習者向けのフォーラムと英語フォーラムの間でトピックが重複していることが原因である。
• 人間のアノテーターは、失敗したケースにおいて正しくと誤ったエージェント予測を区別する際に、それぞれ43%および55%の正確性にとどまり、このような誤りは本質的に曖昧であり、容易に回避できないことを示している。