[論文レビュー] Automating Systematic Literature Reviews with Natural Language Processing and Text Mining: a Systematic Literature Review

Girish Sundaram, Daniel Berleant|arXiv (Cornell University)|Nov 20, 2022

Software Engineering Research被引用数 6

ひとこと要約

本論文は、自然言語処理（NLP）およびテキストマイニングを用いた系統的文献レビュー（SLR）の自動化を分析する体系的文献レビューを提示している。29件の研究を対象として、研究選定、データ抽出、品質評価、統合の4つの自動化ターゲットを特定するとともに、一般的に用いられる機械学習技術、継続的な課題、および現在のアプローチにおけるギャップ（特に品質評価と統合の分野）を明らかにしている。本研究は、SLRの効率性とスケーラビリティを向上させるためのさらなる研究の必要性を提起している。

ABSTRACT

Objectives: An SLR is presented focusing on text mining based automation of SLR creation. The present review identifies the objectives of the automation studies and the aspects of those steps that were automated. In so doing, the various ML techniques used, challenges, limitations and scope of further research are explained. Methods: Accessible published literature studies that primarily focus on automation of study selection, study quality assessment, data extraction and data synthesis portions of SLR. Twenty-nine studies were analyzed. Results: This review identifies the objectives of the automation studies, steps within the study selection, study quality assessment, data extraction and data synthesis portions that were automated, the various ML techniques used, challenges, limitations and scope of further research. Discussion: We describe uses of NLP/TM techniques to support increased automation of systematic literature reviews. This area has attracted increase attention in the last decade due to significant gaps in the applicability of TM to automate steps in the SLR process. There are significant gaps in the application of TM and related automation techniques in the areas of data extraction, monitoring, quality assessment and data synthesis. There is thus a need for continued progress in this area, and this is expected to ultimately significantly facilitate the construction of systematic literature reviews.

研究の動機と目的

• 自然言語処理（NLP）およびテキストマイニングを用いた系統的文献レビュー（SLR）における自動化の範囲と目的を調査すること。
• 研究選定、データ抽出、品質評価、データ統合などのSLRプロセスの各段階の中で、既存の研究で自動化が行われたのはどの段階であるかを特定すること。
• 自動化研究で用いられた機械学習技術を分析し、その有効性と限界を評価すること。
• 品質評価とデータ統合における現在の自動化のギャップを強調し、今後の研究の方向性を提示すること。
• 研究者および実務家が自動化されたSLRワークフローを採用・改善するのを支援するため、SLR自動化分野の最新状況を包括的に概説すること。

提案手法

• NLPおよびテキストマイニングを用いたSLRステップの自動化に焦点を当てた29件の研究を対象とした体系的文献レビュー（SLR）を実施した。
• 研究選定の基準として、研究選定、品質評価、データ抽出、データ統合といったSLRの核となるフェーズの自動化に関連する研究を対象とした。
• 自動化の目的、使用された機械学習技術（例：NLPモデル、クラスタリング、分類）、実装アプローチごとに研究を分類した。
• 自動化の成果を特定のSLRフェーズにマッピングし、各段階における成熟度とカバレッジを評価した。
• レビュー対象文献の主題的分析を通じて、課題、限界、研究ギャップに関する知見を統合した。
• SLRライフサイクル全体にわたり、自動化技術の範囲と影響を評価するための構造化されたフレームワークを用いた。

実験結果

リサーチクエスチョン

• RQ1 自然言語処理（NLP）およびテキストマイニングを用いたSLRプロセスのどのフェーズが最も頻繁に自動化されているか？
• RQ2 SLRタスクの自動化に主に用いられている機械学習およびNLP技術は何か？
• RQ3 既存のSLR自動化研究で報告された主な課題と限界は何か？
• RQ4 SLRにおけるデータ抽出、品質評価、データ統合の自動化は、どの程度成熟しているか？
• RQ5 系統的文献レビューにおける自動化を進めるにあたり、主要な研究ギャップと今後の方向性は何か？

主な発見

• 研究選定が最も自動化が進んでおり、NLPモデルを用いた重複検出や関連性スクリーニングにおいて高い正確性が報告されている。
• データ抽出の自動化は中程度に発展しているが、構造化されたスキーマ設計とドメイン特化されたラベル付けの必要性が限界となっている。
• 品質評価は依然として大きな課題であり、自動化ツールの実装が少ないため、顕著な研究ギャップが存在する。
• データ統合の自動化は未発達であり、複数の研究からの発見を要約または統合するNLPの使用はほとんど見られない。
• 多くの研究が、BERTベースのモデルや従来の分類器を含む教師あり機械学習手法に依存しているが、クロスバリデーションやベンチマークの報告は少ない。
• 進展は見られるものの、全体としてSLRの自動化は未完であり、スケーラビリティ、解釈可能性、ドメイン間での一般化性の面で継続的な限界が存在する。