[論文レビュー] The TechQA Dataset

Vittorio Castelli, Rishav Chakravarti+19 more|arXiv (Cornell University)|Nov 8, 2019

Topic Modeling参考文献 14被引用数 4

ひとこと要約

TechQA は、IBM の技術フォーラムにおける実際のユーザー質問と、公式 IBM Technote ドキュメントからの受容済み回答を組み合わせたドメイン適応型質問応答データセットであり、600件の学習用、310件の開発用、490件の評価用の質問-回答ペアを含む。本データセットは、本物の現実世界の技術的サポート要請と、事前学習およびドメイン表現学習に使用可能な 801,998 件の公開可能 Technote を併せて提供することで、ドメイン適応に関する研究を可能にする。

ABSTRACT

We introduce TechQA, a domain-adaptation question answering dataset for the technical support domain. The TechQA corpus highlights two real-world issues from the automated customer support domain. First, it contains actual questions posed by users on a technical forum, rather than questions generated specifically for a competition or a task. Second, it has a real-world size -- 600 training, 310 dev, and 490 evaluation question/answer pairs -- thus reflecting the cost of creating large labeled datasets with actual data. Consequently, TechQA is meant to stimulate research in domain adaptation rather than being a resource to build QA systems from scratch. The dataset was obtained by crawling the IBM Developer and IBM DeveloperWorks forums for questions with accepted answers that appear in a published IBM Technote---a technical document that addresses a specific technical issue. We also release a collection of the 801,998 publicly available Technotes as of April 4, 2019 as a companion resource that might be used for pretraining, to learn representations of the IT domain language.

研究の動機と目的

• ドメイン適応研究における現実的で大規模なラベル付きデータセットの不足に対処すること。
• 合成的またはコンテスト特化の質問ではなく、現実世界のユーザー要請と本番レベルの技術文書を反映したデータセットを提供すること。
• NLP モデルを IT サポートの文脈における専門的な言語および情報ニーズに適応させる研究を支援すること。
• 事前学習およびドメイン固有の表現学習に使用可能な、801,998 件の公開可能 IBM Technotes からなる補足コーパスをリリースすること。

提案手法

• IBM Developer および IBM DeveloperWorks フォーラムのクローリングにより、公式 IBM Technote ドキュメントにリンクされた受容済み回答を有する質問を収集する。
• 事実的根拠とドメインの関連性を保証するため、対応する公開可能 IBM Technotes が存在する質問のみを選択する。
• 現実世界のデータ収集コストと規模を反映させるために、最終的なデータセットを 600 件の学習用、310 件の開発用、490 件の評価用に編集する。
• 事前学習および IT ドメイン言語表現の学習に使用可能な 801,998 件の利用可能な Technotes を補足リソースとしてリリースする。
• QA システムをゼロから構築するのではなく、ドメイン適応技術の評価に本データセットを使用する。
• 本物のユーザー質問と本番環境のドキュメントに焦点を当てることで、真正性と実用的関連性を確保する。

実験結果

リサーチクエスチョン

• RQ1 技術サポートフォーラムからの本物のユーザー質問にドメイン適応技術を適用した場合、その有効性はどの程度か？
• RQ2 補足 Technote コーパスに対する事前学習が、TechQA データセットにおけるパフォーマンスにどの程度向上効果をもたらすか？
• RQ3 TechQA で微調整されたモデルのパフォーマンスは、一般ドメイン QA データセットで学習されたモデルと比較して、技術サポートドメインにおいてどの程度優れているか？
• RQ4 本物の現実世界の本番レベルのドキュメント（Technote）を用いることで、技術的 QA におけるモデルの一般化性能にどのような影響を与えるか？
• RQ5 TechQA で学習したモデルは、提供された分割を超えて未観測の技術サポート要請に一般化できるか？

主な発見

• TechQA データセットには、現実のデータ収集コストと規模を反映した 600 件の学習用、310 件の開発用、490 件の評価用の質問-回答ペアが含まれる。
• 本データセットは、公式 IBM Technote ドキュメントにリンクされた実際の IBM フォーラムでのユーザー質問に基づいて構築されており、事実の正確性と現実世界の関連性を保証している。
• 事前学習およびドメイン表現学習を支援する目的で、801,998 件の公開可能 IBM Technotes からなる補足コーパスがリリースされた。
• 本データセットは、QA システムをゼロから構築するための単独リソースとしてではなく、ドメイン適応に関する研究を促進することを明確に目的として設計されている。
• 本物の技術文書（Technote）の統合により、IT ドメイン言語および技術的推論のより良いモデリングが可能になった。
• 本データセットは、ドメイン固有の知識と自然言語理解の重要性を強調する現実的な技術サポート環境におけるモデルの評価を可能にする。