[論文レビュー] Repartitioning of the ComplexWebQuestions Dataset

Alon Talmor, Jonathan Berant|arXiv (Cornell University)|Jul 25, 2018

Topic Modeling参考文献 6被引用数 10

ひとこと要約

この論文は、ComplexWebQuestions (v1.0) データセットにおけるデータ漏洩問題を特定し解決した。訓練用とテスト用のセットに重複するシード質問が存在するため、読解モデルを訓練すると、モデルの一般化能力ではなく、データ漏洩に起因する不自然に高い性能が得られてしまう。著者らは、シード質問レベルでデータを分割することで、新たな分割法（ComplexWebQuestions v1.1）を提案し、誤った相関関係を排除した。微調整された DocumentQA モデルを用いて、テストセットで新しいSOTAの precision@1 34.2 を達成した。

ABSTRACT

Recently, Talmor and Berant (2018) introduced ComplexWebQuestions - a dataset focused on answering complex questions by decomposing them into a sequence of simpler questions and extracting the answer from retrieved web snippets. In their work the authors used a pre-trained reading comprehension (RC) model (Salant and Berant, 2018) to extract the answer from the web snippets. In this short note we show that training a RC model directly on the training data of ComplexWebQuestions reveals a leakage from the training set to the test set that allows to obtain unreasonably high performance. As a solution, we construct a new partitioning of ComplexWebQuestions that does not suffer from this leakage and publicly release it. We also perform an empirical evaluation on these two datasets and show that training a RC model on the training data substantially improves state-of-the-art performance.

研究の動機と目的

• 読解モデルが不自然に高い性能を達成する原因となる、ComplexWebQuestions データセットにおけるデータ漏洩問題を特定・解決すること。
• 訓練セットとテストセットの間の誤った相関関係を排除することで、読解モデルの公平な評価を確保すること。
• 元のシード質問に基づいてデータセットを再分割し、訓練セットとテストセットの重複を防ぐこと。
• 修正済みデータセットを用いて微調整された読解モデルで、ComplexWebQuestions における新しいSOTA性能を確立すること。
• 公平で再現可能な研究を促進するため、修正済みデータセット（v1.1）を公開すること。

提案手法

• WebQuestionsSP からの元のシード質問に基づいて、例をグループ化することで ComplexWebQuestions データセットを再分割する。
• シード質問が訓練セットとテストセットの両方に出現しないようにし、重複に起因する誤った相関関係を排除する。
• 元の複雑な質問とその分解済みバージョンの両方で、DocumentQA 読解モデルを微調整して性能を向上させる。
• ComplexWebQuestions 訓練セットから得られる 63,263 例（完全な質問と分解済み質問を含む）で読解モデルを学習する。
• 元の（v1.0）および再分割済み（v1.1）バージョンのデータセットで、precision@1 を評価指標として用いる。
• SimpQA および SplitQA の異なる質問分解戦略と、事前学習済みモデル、NoDecomp、Decomp の読解モデルバージョンの間で性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 ComplexWebQuestions 訓練セットで読解モデルを学習させると、モデルの一般化能力ではなく、データ漏洩に起因する性能向上が得られるか？
• RQ2 シード質問に基づく新たな分割戦略により、訓練セットとテストセットの間の誤った相関関係を解消できるか？
• RQ3 修正済みデータセット（v1.1）で読解モデルを微調整することで、測定可能で公平な性能向上が得られるか？
• RQ4 読解モデルの学習時に分解済み質問を含めることで、全体の性能にどのような影響を与えるか？
• RQ5 修正済みデータセットと微調整済み読解モデルを用いて、ComplexWebQuestions で新しいSOTA性能を達成できるか？

主な発見

• 微調整済み読解モデルを ComplexWebQuestions v1.0 で学習させたところ、開発セットで precision@1 が 55.0 に達したが、これは重複するシード質問に起因するデータ漏洩によるものであった。
• 修正済みの v1.1 パartitioning を用いた場合、同じモデルは開発セットで precision@1 が 31.1 に低下した。これは、v1.0 での高い性能が誤った相関関係に起因していたことを示している。
• 事前学習済み読解モデルは両バージョンで一貫した性能（precision@1 20.4～20.5）を示し、v1.1 での性能低下が v1.0 におけるモデルの過学習に起因することを確認した。
• 元の質問と分解済み質問の両方で読解モデルを学習させた（SplitQA + Decomp）ことで、v1.1 開発セットで precision@1 が 35.6 に向上した。
• 最終的なモデル（SplitQA + Decomp）は、v1.1 テストセットで新しいSOTAの precision@1 34.2 を達成した。
• 修正済みデータセット、ComplexWebQuestions v1.1 は、今後のモデルの公平かつ再現可能な評価を促進するため、公開された。