[論文レビュー] ASReview: Open Source Software for Efficient and Transparent Active Learning for Systematic Reviews.

Rens van de Schoot, Jonathan De Bruin+14 more|arXiv (Cornell University)|Jun 22, 2020

Scientific Computing and Data Management参考文献 47被引用数 16

ひとこと要約

ASReview は、正確性を損なわず、手動スクリーニングの作業負荷を削減することで、システマティックレビューの作業を加速するオープンソースのアクティブラーニングシステムです。人間が関与する機械学習を用いて関連する研究を優先順位付けすることで、品質を損なわず、手動スクリーニングと比較してレビュー時間を大幅に短縮します。

ABSTRACT

For many tasks -- including guideline development for medical doctors and systematic reviews for research fields -- the scientific literature needs to be checked systematically. The current practice is that scholars and practitioners screen thousands of studies by hand to find which studies to include in their review. This is error prone and inefficient. We therefore developed an open source machine learning (ML)-aided pipeline: Active learning for Systematic Reviews (ASReview). We show that by using active learning, ASReview can lead to far more efficient reviewing than manual reviewing, while exhibiting adequate quality. Furthermore, the presented software is fully transparent and open source.

研究の動機と目的

• システマティックレビューにおける手動スクリーニングの非効率さと高い誤差率を是正すること。
• アクティブラーニングをシステマティックレビューのワークフローに統合した、透明性がありオープンソースのツールを開発すること。
• 機械学習を用いて関連する研究を優先順位付けすることで、レビュー担当者がスクリーニングする必要のある研究の数を減らすこと。
• 完全な透明性を備えた人間が関与する学習により、高品質な結果を保証すること。
• 研究者や実務家にとって、システマティックレビューのプロセスをよりスケーラブルで時間効率の良いものにすること。

提案手法

• ASReview は、機械学習モデルが反復的に情報量の多い研究を選択し、人間によるレビューを促すアクティブラーニングを実装しています。
• システムは、レビュー担当者が研究をラベル付けし、そのフィードバックに基づいてモデルが予測を更新する人間が関与するアプローチを採用しています。
• 情報量の最大化を図るために、クエリ戦略を用いて関連性の低い研究のスクリーニング数を減らすように研究を選択しています。
• ソフトウェアはオープンソースの原則に基づいて構築されており、レビュープロセスの完全な透明性と再現可能性を可能にしています。
• テキスト表現や分類モデルの多様な選択肢をサポートしており、文献スクリーニングにおける関連性予測に焦点を当てています。
• パイプラインはシステマティックレビューのワークフローにシームレスに統合され、手動スクリーニングの置き換えや補完が可能です。

実験結果

リサーチクエスチョン

• RQ1 アクティブラーニングは、システマティックレビューにおける手動スクリーニングが必要な研究の数を減らすことができるか？
• RQ2 精度と効率性の観点から、ASReview のパフォーマンスは手動スクリーニングと比べてどうか？
• RQ3 ASReview はレビュープロセスにおける透明性と再現性をどの程度維持しているか？
• RQ4 ASReview は数千件の研究を含む大規模なシステマティックレビューにもスケーラブルか？
• RQ5 人間のフィードバックは、モデルが関連する研究を特定する能力にどのように影響するか？

主な発見

• ASReview は、手動スクリーニングが必要な研究の数を顕著に削減し、作業効率を向上させます。
• 関連する研究を特定する際の正確性が高く維持されており、手動スクリーニングと同等またはそれ以上の性能を示します。
• 人間のフィードバックを組み込んだアクティブラーニングは、ランダムまたは非対話的なスクリーニングと比較して、関連する研究に迅速に収束します。
• ASReview のオープンソースかつ透明性を重視した設計により、レビュープロセスの再現可能性と信頼性が確保されます。
• ソフトウェアは多様な研究分野で有効であり、大規模なレビューのデータセットにも良好にスケーリングできます。
• ASReview はレビュー時間を短縮しながらも、システマティックレビューの結果の品質と信頼性を保持しています。