[논문 리뷰] Improving Active Learning in Systematic Reviews

Gaurav Singh, James Thomas외 1명|arXiv (Cornell University)|2018. 01. 29.

Machine Learning and Algorithms참고 문헌 12인용 수 6

한 줄 요약

이 논문은 LDA 기반 토픽 모델링과 분류기로 관련성과 신선도 스코어를 조합하는 새로운 주의적 학습 프레임워크를 제안한다. 관련성(훈련된 분류기로부터 유도된 값)과 신선도(토픽 분산에서 유도된 값) 스코어를 곱함으로써, 높은 재현율을 유지하면서도 수동 레이블링 작업을 크게 줄일 수 있다. 실험 결과, 총 문서의 25%만 레이블링해도 95%의 재현율을 달성하였다.

ABSTRACT

Systematic reviews are essential to summarizing the results of different clinical and social science studies. The first step in a systematic review task is to identify all the studies relevant to the review. The task of identifying relevant studies for a given systematic review is usually performed manually, and as a result, involves substantial amounts of expensive human resource. Lately, there have been some attempts to reduce this manual effort using active learning. In this work, we build upon some such existing techniques, and validate by experimenting on a larger and comprehensive dataset than has been attempted until now. Our experiments provide insights on the use of different feature extraction models for different disciplines. More importantly, we identify that a naive active learning based screening process is biased in favour of selecting similar documents. We aimed to improve the performance of the screening process using a novel active learning algorithm with success. Additionally, we propose a mechanism to choose the best feature extraction method for a given review.

연구 동기 및 목표

• 시스템적 리뷰에서 수동 레이블링 부담을 줄이기 위해 인간 검토를 위한 가장 정보가 많은 문서를 자동으로 선별하는 것.
• 표준 불확실성 샘플링을 넘어서 주의적 학습 전략을 개선하여 시스템적 리뷰에서 레이블 부족 문제를 해결하는 것.
• 분류와 함께 토픽 모델링(LDA)을 통합하여 문서 선별 시 관련성과 다양성을 균형 있게 유지하는 것.
• 관련성과 신선도 스코어를 통합함으로써 시스템적 리뷰의 주의적 학습에서 재현율과 효율성이 향상되는지 평가하는 것.
• 대규모 문헌 스크리닝에 적용 가능한 실용적이고 확장 가능한 방법을 제공하는 것.

제안 방법

• 메서드는 수동으로 레이블링된 문서 집합($\mathcal{H}$)과 레이블이 없는 문서 풀($\mathcal{G} = \mathcal{D} - \mathcal{H}$)로 시작한다.
• 전체 문서 컬렉션($\mathcal{D}$)에 대해 LDA를 적용하여 코퍼스의 300개 토픽 표현($V$)을 학습한다.
• $\mathcal{H}$를 기반으로 분류기를 훈련하여 각 문서 $d \in \mathcal{G}$에 대해 관련성 스코어 $R(d)$를 예측한다. 이는 $p(r|d)$를 나타낸다.
• 시간 기반 감쇠 인자 $t=3$를 사용하여 $\mathcal{H}$와 $\mathcal{G}$ 간의 토픽 분산을 기반으로 신선도 스코어 $N(d)$를 계산한다. 이는 $p(n|d)$를 나타낸다.
• 문서는 $\text{scores}(d) = R(d) \times N(d)$로 스코어링되며, 이는 관련성과 신선도를 통합하여 정보가 많고 다양한 문서를 우선순위로 선별한다.
• 각 반복에서 조합 스코어가 높은 상위 $s=25$개 문서를 선별하여 레이블링하고, 최대 150개의 토픽이 탐색될 때까지 이 과정을 반복한다.

실험 결과

연구 질문

• RQ1 표준 불확실성 샘플링과 비교해 볼 때, 관련성과 신선도 스코어를 통합함으로써 주의적 학습 성능이 향상되는가?
• RQ2 LDA 기반 토픽 모델링이 주의적 학습 과정에서 정보가 많은 문서를 선별하는 데 어떻게 기여하는가?
• RQ3 토픽 분산에서 유도된 신선도 스코어가 중복 레이블링을 줄이고 커버리지 향상에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 높은 재현율을 유지하면서도 수동 레이블링이 필요한 문서 수를 얼마나 줄일 수 있는가?
• RQ5 시간 기반 감쇠 인자 $t$는 관련성과 신선도 사이의 균형을 문서 선별 과정에서 어떻게 영향을 미치는가?

주요 결과

• 제안된 방법은 총 문서의 25%만 레이블링해도 시스템적 리뷰 스크리닝에서 95%의 재현율을 달성하여 수동 작업을 크게 줄였다.
• 관련성과 신선도 스코어의 조합이 정보가 많고 다양한 문서를 우선순위로 선별함으로써 기준 방법보다 우수한 성능을 보였다.
• LDA 기반 토픽 모델링을 통해 레이블이 된 집합과 레이블이 되지 않은 집합 간의 토픽 분포 변화를 측정함으로써 효과적인 신선도 추정이 가능했다.
• 곱셈 스코어 함수($R(d) \times N(d)$)를 사용함으로써 관련성과 다양성 간의 균형을 효과적으로 유지하여 선별 효율성이 향상되었다.
• 실제 시스템적 리뷰 워크플로우에서의 확장성과 실용성을 입증하였으며, 최적화가 거의 필요로 하지 않았다.
• 시간 기반 감쇠 인자 $t=3$는 오래된, 덜 관련성이 높은 문서의 영향을 줄여 시간이 지남에 따라 관련성 유지에 기여하였다.