[논문 리뷰] A large-scale study of SVM-based methods for abstract screening in systematic reviews

Tanay Kumar Saha, Mourad Ouzzani외 2명|arXiv (Cornell University)|2017. 01. 01.

Explainable Artificial Intelligence (XAI)참고 문헌 33인용 수 3

한 줄 요약

이 연구는 61건의 리뷰와 11개의 평가 지표를 활용한 대규모 분석을 통해 SVM 기반 방법이 체계적 리뷰의 초록 스크리닝을 자동화하는 데 어떻게 기여하는지 평가한다. 단일 우월한 방법이 존재하지 않음을 확인했으며, 관련 연구를 높은 확신으로 발견하기 위해 15–20%의 인용문만 스크리닝해도 충분하다는 점을 밝혀냈다. 또한, 최고 성능을 보인 방법들을 통합하여 개선된 관련성 예측을 가능하게 하는 앙상블 5성급 평가 체계를 제안한다.

ABSTRACT

A major task in systematic reviews is abstract screening, i.e., excluding, often hundreds or thousand of, irrelevant citations returned from a database search based on titles and abstracts. Thus, a systematic review platform that can automate the abstract screening process is of huge importance. Several methods have been proposed for this task. However, it is very hard to clearly understand the applicability of these methods in a systematic review platform because of the following challenges:(1) the use of non-overlapping metrics for the evaluation of the proposed methods, (2) usage of features that are very hard to collect, (3) using a small set of reviews for the evaluation,and (4) no solid statistical testing or equivalence grouping of the methods. In this paper, we use feature representation that can be extracted per citation. We evaluate SVM based methods(commonly used) on a large set of reviews (61) and metrics (11) to provide equivalence grouping of methods based on a solid statistical test. Our analysis also includes a strong variability of the metrics using 500x2 cross validation. While some methods shine for different metrics and for different datasets, there is no single method that dominates the pack. Furthermore, we observe that in some cases relevant (included) citations can be found after screening only 15-20% of them via a certainty based sampling.A few included citations present outlying characteristics and can only be found after a very large number of screening steps.Finally, we present an ensemble algorithm for producing a 5-star rating of citations based on their relevance. Such algorithm combines the best methods from our evaluation and through its 5-star rating outputs a more easy-to-consume prediction.

연구 동기 및 목표

• 체계적 리뷰의 SVM 기반 초록 스크리닝 방법에 대한 표준화된 평가 부족 문제를 해결하기 위해.
• 일반화 가능성을 확보하기 위해 61건의 체계적 리뷰로 구성된 대규모이고 다양한 데이터셋을 사용하여 SVM 방법을 평가하기 위해.
• 정확한 비교를 위해 다양한 평가 지표 간의 성능을 공정하게 비교하기 위해 철저한 통계적 검증 및 동등성 그룹화를 적용하기 위해.
• 수동 작업을 줄이면서도 관련 인용문의 리콜을 유지하는 데 효율적인 스크리닝 전략을 규명하기 위해.
• 관련성 예측의 해석 가능성과 사용성을 향상시키기 위해 최고 성능을 보인 방법들을 통합한 앙상블 5성급 평가 체계를 개발하기 위해.

제안 방법

• 각 인용문에서 추출 가능한 특징 표현을 사용하여 실제 체계적 리뷰 플랫폼에서의 실용적 적용 가능성을 확보하기 위해.
• 모든 데이터셋과 분할에 걸쳐 메서드의 안정성과 변동성을 평가하기 위해 500×2 교차검증을 적용하기 위해.
• 다양한 평가 기준을 고려하여 메서드 효과성을 종합적으로 비교하기 위해 11종의 다른 성능 지표를 평가하기 위해.
• 단일 지표 순위에 의존할 경우 오해의 소지가 있을 수 있으므로, 성능 기반으로 메서드를 그룹화하기 위해 통계적 동등성 검정을 수행하기 위해.
• 최고 성능을 보이는 개별 메서드의 예측을 통합하여 5성급 관련성 평가를 생성하는 앙상블 알고리즘을 설계하기 위해.
• 관련 인용문이 높은 확신으로 발견될 수 있는 조기 스크리닝 시점들을 식별하기 위해 확신 기반 샘플링을 적용하기 위해.

실험 결과

연구 질문

• RQ1 다양한 체계적 리뷰와 평가 지표에 걸쳐 어떤 SVM 기반 메서드가 가장 우수한 성능을 보이는가?
• RQ2 확신 기반 샘플링을 통해 관련 연구의 리콜을 유지하면서도 스크리닝이 필요한 인용문의 수를 줄일 수 있는가?
• RQ3 철저한 통계적 검증을 거친 후에도 SVM 메서드 간에 일관된 성능 그룹화가 존재하는가?
• RQ4 SVM 메서드의 성능 특성은 다양한 리뷰와 평가 지표 간에 어떻게 달라지는가?
• RQ5 최고 성능을 보이는 메서드들을 통합한 앙상블 모델이 관련성 예측의 해석 가능성과 정확성을 향상시킬 수 있는가?

주요 결과

• 모든 지표와 데이터셋에서 항상 다른 메서드보다 뛰어난 성능을 보이는 단일 SVM 기반 메서드는 존재하지 않으며, 이는 메서드 성능이 맥락에 따라 달라진다는 것을 시사한다.
• 확신 기반 샘플링을 통해 인용문 풀의 15–20%만 스크리닝해도 관련 인용문을 높은 확신으로 발견할 수 있다.
• 소수의 관련 인용문은 특이한 특성을 보이며, 광범위한 스크리닝 이후에야 발견될 수 있어 조기 종료 시 리스크가 있음을 시사한다.
• 앙상블 5성급 평가 체계는 최고 성능을 보이는 메서드들을 성공적으로 통합하여 더 직관적이고 실용적인 관련성 예측을 생성한다.
• 통계적 동등성 검정을 통해 일부 메서드 간 성능 차이가 유의미하지 않음을 확인했으며, 이는 미세한 지표 향상이 반드시 의미 있는 것이라고 가정하는 것에 도전한다.
• 500×2 교차검증의 사용을 통해 지표 성능에 높은 변동성이 있음을 확인했으며, 이는 메서드 비교 시 강력한 평가 전략이 필요하다는 점을 강조한다.