[논문 리뷰] The Benefits of Word Embeddings Features for Active Learning in Clinical Information Extraction

Mahnoosh Kholghi, Lance De Vine외 3명|arXiv (Cornell University)|2016. 07. 11.

Topic Modeling참고 문헌 9인용 수 9

한 줄 요약

이 논문은 임상 정보 추출을 위한 활성 학습 프레임워크 내에서 비지도 학습 단어 임베딩과 수작업 특징을 통합하여 주석 작업량을 크게 줄이고자 제안한다. 스킵그램 단어 임베딩과 다양한 불확실성 샘플링 전략을 결합한 방법은 i2b2/VA 및 ShARe/CLEF 데이터셋에서 기준 방법 대비 개념 주석 비율 최대 10% 감소와 토큰 주석 비율 최대 9% 감소를 달성한다.

ABSTRACT

This study investigates the use of unsupervised word embeddings and sequence features for sample representation in an active learning framework built to extract clinical concepts from clinical free text. The objective is to further reduce the manual annotation effort while achieving higher effectiveness compared to a set of baseline features. Unsupervised features are derived from skip-gram word embeddings and a sequence representation approach. The comparative performance of unsupervised features and baseline hand-crafted features in an active learning framework are investigated using a wide range of selection criteria including least confidence, information diversity, information density and diversity, and domain knowledge informativeness. Two clinical datasets are used for evaluation: the i2b2/VA 2010 NLP challenge and the ShARe/CLEF 2013 eHealth Evaluation Lab. Our results demonstrate significant improvements in terms of effectiveness as well as annotation effort savings across both datasets. Using unsupervised features along with baseline features for sample representation lead to further savings of up to 9% and 10% of the token and concept annotation rates, respectively.

연구 동기 및 목표

• 활성 학습에서 비지도 학습 단어 임베딩을 활용하여 임상 정보 추출의 수동 주석 비용을 줄이는 것.
• 기존 수작업 특징 대비 단어 임베딩이 샘플 선택 효율성에 기여하는지 평가하는 것.
• 비지도 학습 특징과 수작업 특징을 융합함으로써 주석 효율성과 모델 성능에 미치는 영향을 조사하는 것.
• 임상 NLP 맥락에서 다수의 불확실성 샘플링 기준—가장 낮은 신뢰도, 정보 다양성, 정보 밀도, 도메인 지식의 정보성—을 평가하는 것.
• 두 개의 실제 임상 데이터셋인 i2b2/VA 2010 및 ShARe/CLEF 2013에서 본 방법의 타당성을 검증하는 것.

제안 방법

• 논문은 임상 텍스트에서 훈련된 스킵그램 단어 임베딩을 활용하여 단어의 조밀하고 분산된 표현을 생성한다.
• 문장 수준의 표현은 단어 임베딩과 문맥적 특징의 조합을 통해 구성되어 문장 수준의 맥락을 모델링한다.
• 비지도 학습 단어 임베딩과 전통적인 수작업 특징(예: 품사 태그, 구문 패턴 등)을 연결하여 하이브리드 특징 표현을 생성한다.
• 활성 학습은 가장 정보적인 샘플을 선택하기 위해 다수의 기준—가장 낮은 신뢰도, 정보 다양성, 정보 밀도, 도메인 지식의 정보성—을 사용한다.
• 모델은 가장 정보적인 샘플들에 대해 반복적으로 재학습되어 전체 주석 작업의 필요성을 줄인다.
• F1 점수와 주석 효율성 지표를 사용하여 두 개의 임상 데이터셋에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 기존 수작업 특징 대비 활성 학습에 단어 임베딩을 통합함으로써 임상 정보 추출의 효율성이 향상되는가?
• RQ2 목표 성능 수준에 도달하기 위해 필요한 주석 수를 단어 임베딩이 얼마나 줄일 수 있는가?
• RQ3 임상 텍스트에서 단어 임베딩과 융합할 경우 다양한 불확실성 샘플링 전략의 성능은 어떻게 되는가?
• RQ4 비지도 학습 특징과 수작업 특징의 융합이 단독으로 사용할 경우보다 더 높은 주석 효율성을 이끌 수 있는가?
• RQ5 단어 임베딩의 이점은 다양한 임상 텍스트 데이터셋 간에서 일반화 가능한가?

주요 결과

• 비지도 학습 단어 임베딩과 수작업 특징의 융합은 기준 방법 대비 최대 10%까지 개념 주석 비율을 감소시켰다.
• 하이브리드 특징 표현을 활성 학습에 적용했을 때 토큰 수준의 주석 노력이 최대 9% 감소했다.
• 단어 임베딩과 활성 학습의 조합은 i2b2/VA 2010 및 ShARe/CLEF 2013 데이터셋 양쪽에서 더 적은 주석 샘플로도 높은 F1 점수를 달성했다.
• 정보 다양성 및 도메인 지식의 정보성 기준은 단어 임베딩와 융합했을 때 특히 효과적인 것으로 나타났다.
• 스킵그램 단어 임베딩는 임상적으로 관련된 의미 패턴을 더 잘 포착하는 데 정적 단어 표현보다 뛰어난 성능을 보였다.
• 하이브리드 특징 접근법은 테스트된 모든 불확실성 샘플링 전략에서 일관되게 성능 향상을 이뤘다.