[論文レビュー] How to Read Less: Better Machine Assisted Reading Methods for Systematic Literature Reviews.

Zhe Yu, Nicholas A. Kraft+1 more|arXiv (Cornell University)|Dec 10, 2016

Software Engineering Research参考文献 28被引用数 10

ひとこと要約

本稿では、エビデンスベースド・メディスンおよび法的eディスcoveryの技術を再考・再構築した手法を用いて、人間によるレビューの優先順位を付けることで、システマティックレビューのスピードを向上させる新規なアクティブラーニング手法FASTREADを提案する。本手法は、研究者が読まなければならない論文の数を1桁削減し、最先端の手法と同等の再現率（95％）を達成するが、その際の研究のレビュー数を20–50％も削減する。

ABSTRACT

Literature reviews can be time-consuming and tedious to complete. By cataloging and refactoring three state-of-the-art active learning techniques from evidence-based medicine and legal electronic discovery, this paper finds and implements FASTREAD, a faster technique for studying a large corpus of documents. This paper assesses FASTREAD using datasets generated from existing SE literature reviews (Hall, Wahono, Radjenovic, Kitchenham et al.). Compared to manual methods, FASTREAD lets researchers find 95% relevant studies after reviewing an order of magnitude fewer papers. Compared to other state-of-the-art automatic methods, FASTREAD reviews 20-50% fewer studies while finding same number of relevant primary studies in a systematic literature review.

研究の動機と目的

• ソフトウェア工学分野におけるシステマティックレビューの作業が時間と手間を要することを解決すること。
• 関連する研究の再現率を維持しつつ、研究者が手動でレビューしなければならない文書数を削減すること。
• エビデンスベースド・メディスンおよび法的eディスカバリーフィールドのアクティブラーニング技術をシステマティックレビューに適応・再構築すること。
• 提案手法の性能を実世界のSE分野のシステマティックレビューのデータセットを用いて評価すること。
• FASTREADが手動レビューおよび最先端の自動レビュー手法よりも高い効率性を示すことを実証すること。

提案手法

• FASTREADは、エビデンスベースド・メディスンおよび法的電子的ディスカバリーフィールドにおける最先端のアクティブラーニング技術を統合・再構築する。
• モデルの性能向上に寄与する可能性が最も高い文書を優先するため、不確実性サンプリングとクエリ戦略を用いる。
• モデルの信頼度と期待される情報量の増加に基づいて、動的に人間によるレビュー対象文書を選択する。
• モデルの不確実性と関連性予測を組み合わせたハイブリッドランク付け戦略を採用し、重複するレビューを削減する。
• 各ラベル付けのラウンド後にモデルを繰り返し再訓練することで、時間の経過とともに選択の正確性を高める。
• 本手法は、既存のSE分野のシステマティックレビューから抽出された実データセット（Hall, Wahono, Radjenovic, Kitchenham et al.）を用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 FASTREADは、システマティックレビューにおける関連研究の再現率を維持しつつ、研究者が手動でレビューしなければならない文書数を削減できるか？
• RQ2 手動レビューと比較して、FASTREADの効率性と再現率はどのように異なるか？
• RQ3 FASTREADは、同じ再現率を達成するためのレビュー対象論文数を、既存の最先端の自動手法よりも20–50％も削減できるか？
• RQ4 医学および法的分野のアクティブラーニング技術の統合は、ソフトウェア工学分野の文献レビューにおいて効果的か？
• RQ5 文書の優先順位戦略の影響は、文献レビューの完了速度と正確性にどのような影響を与えるか？

主な発見

• FASTREADは、手動手法と比較して、研究者がレビューする論文数を1桁削減し、95％の再現率を達成するが、その際の文書数は著しく少ない。
• 他の最先端の自動手法と比較して、FASTREADは同じ数の関連する主要研究を抽出するためのレビュー対象論文数を20–50％も削減できる。
• レビュー対象文書数が著しく削減されても、再現率が高く維持されるため、高い効率性の向上が確認された。
• エビデンスベースド・メディスンおよび法的eディスカバリーフィールドのアクティブラーニング技術の統合は、ソフトウェア工学分野の文献レビューにおいて有効であることが示された。
• 本手法により、研究者ははるかに少ない手動作業で高い再現率に到達でき、システマティックレビューのスケーラビリティと実行可能性が向上した。