[논문 리뷰] Few-shot learning for medical text: A systematic review

Yao Ge, Yuting Guo외 3명|arXiv (Cornell University)|2022. 04. 21.

Topic Modeling인용 수 6

한 줄 요약

이 체계적 리뷰는 의료 텍스트 NLP에서 소수 학습(FSL) 방법을 분석하며, 주로 2020년 이후에 발표된 31개의 연구를 다루며, 명칭 엔터티 인식 및 텍스트 분류와 같은 저자원 작업에 초점 맞춰져 있다. 주로 주의 메커니즘, 원형 네트워크, 메타학습이 주요 접근 방식이지만, 표준화된 생물의학 데이터셋 부족과 임상 텍스트에서의 성능 최적화 미흡으로 인해 발전이 제한되고 있음을 밝혀냈다.

ABSTRACT

Objective: Few-shot learning (FSL) methods require small numbers of labeled instances for training. As many medical topics have limited annotated textual data in practical settings, FSL-based natural language processing (NLP) methods hold substantial promise. We aimed to conduct a systematic review to explore the state of FSL methods for medical NLP. Materials and Methods: We searched for articles published between January 2016 and August 2021 using PubMed/Medline, Embase, ACL Anthology, and IEEE Xplore Digital Library. To identify the latest relevant methods, we also searched other sources such as preprint servers (eg., medRxiv) via Google Scholar. We included all articles that involved FSL and any type of medical text. We abstracted articles based on data source(s), aim(s), training set size(s), primary method(s)/approach(es), and evaluation method(s). Results: 31 studies met our inclusion criteria-all published after 2018; 22 (71%) since 2020. Concept extraction/named entity recognition was the most frequently addressed task (13/31; 42%), followed by text classification (10/31; 32%). Twenty-one (68%) studies reconstructed existing datasets to create few-shot scenarios synthetically, and MIMIC-III was the most frequently used dataset (7/31; 23%). Common methods included FSL with attention mechanisms (12/31; 39%), prototypical networks (8/31; 26%), and meta-learning (6/31; 19%). Discussion: Despite the potential for FSL in biomedical NLP, progress has been limited compared to domain-independent FSL. This may be due to the paucity of standardized, public datasets, and the relative underperformance of FSL methods on biomedical topics. Creation and release of specialized datasets for biomedical FSL may aid method development by enabling comparative analyses.

연구 동기 및 목표

• 소수 학습(FSL) 방법이 의료 텍스트 처리에 어떻게 적용되고 있는지 현재의 상태를 평가하기 위해.
• 의생명 NLP 연구에서 가장 흔한 작업, 데이터셋, FSL 접근 방식을 특정하기 위해.
• 저자원 의료 텍스트 환경에서 FSL의 성능와 한계를 평가하기 위해.
• 의생명 FSL를 위한 표준화되고 공개 가능한 데이터셋의 부족을 부각하기 위해.
• 의료 NLP에서 방법 개발을 가속화하기 위해 전용 데이터셋을 구축할 것을 제안하기 위해.

제안 방법

• 2016년 1월부터 2021년 8월까지 PubMed/Medline, Embase, ACL Anthology, IEEE Xplore 및 사전인용 서버(예: medRxiv)를 대상으로 체계적 문헌 검색을 수행하였다.
• 제한된 레이블 데이터를 가진 소수 학습 시나리오를 포함하는 모든 유형의 의료 텍스트에 FSL를 적용한 연구를 포함하였다.
• 데이터 원천, 연구 목적, 훈련 세트 크기, 주요 FSL 방법(예: 주의, 원형 네트워크), 평가 프로토콜 등의 핵심 정보를 추출하였다.
• 명칭 엔터티 인식 및 텍스트 분류와 같은 작업에서의 방법론적 추세, 데이터셋 사용, 성능에 대한 통합된 분석을 수행하였다.
• 메타학습, 주의 메커니즘, 원형 네트워크 등의 카테고리로 연구에서 제시된 방법론적 기술에 따라 FSL 접근 방식을 분류하였다.
• 연구들이 실제 또는 합성된 소수 학습 데이터를 얼마나 사용했는지 평가하였으며, 68%의 연구가 평가를 위해 기존 데이터셋을 합성적으로 재구성하였다.

실험 결과

연구 질문

• RQ1 의료 텍스트에서 소수 학습의 가장 흔한 작업은 무엇이며, 시간이 지남에 따라 어떻게 변화해 왔는가?
• RQ2 의생명 NLP에서 가장 흔히 적용되는 소수 학습 방법은 무엇이며, 상대 빈도는 어떻게 되는가?
• RQ3 연구들은 소수 학습 시나리오를 어떻게 생성하는가—실제 데이터를 사용하는가, 아니면 합성 데이터 재구성 방식을 사용하는가?
• RQ4 소수 학습 연구에서 가장 자주 사용되는 의료 텍스트 데이터셋은 무엇이며, 그 특성은 무엇인가?
• RQ5 의료 텍스트 응용 분야에서 FSL의 성능 향상과 보급을 저해하는 주요 과제는 무엇인가?

주요 결과

• 31개의 포함된 연구 중 71%가 2020년 이후에 발표되어, 의료 텍스트에서 FSL에 대한 관심이 최근에 급격히 증가하고 있음을 시사한다.
• 명칭 엔터티 인식(42%)과 텍스트 분류(32%)가 가장 흔한 작업으로, 임상 NLP의 핵심 요구사항을 반영하고 있다.
• MIMIC-III가 가장 자주 사용된 데이터셋으로(연구의 23%), 이어 임상 레포지토리와 합성 데이터가 뒤를 이었다.
• 주의 메커니즘(39%)과 원형 네트워크(26%)가 가장 널리 채택된 FSL 방법으로, 소수 학습 환경에서 뛰어난 성능를 보이고 있음을 시사한다.
• 68%의 연구가 기존 데이터셋을 재구성하여 합성된 소수 학습 시나리오를 생성하여, 시뮬레이션된 저자원 조건에 의존하고 있음을 나타낸다.
• 진전이 있었음에도 불구하고, 일반 도메인 응용에 비해 생물의학 텍스트에서는 FSL 방법의 성능이 열등하여 도메인 특화 데이터셋과 벤치마크가 필요하다는 점을 강조한다.