[논문 리뷰] Team EP at TAC 2018: Automating data extraction in systematic reviews of environmental agents

Artur Nowak, Paweł Kunstman|arXiv (Cornell University)|2019. 01. 07.

Topic Modeling참고 문헌 14인용 수 4

한 줄 요약

이 논문은 환경 요인에 대한 체계적 문헌 고찰에서 자동 데이터 추출을 위한 딥러닝 기반 시퀀스 태깅 시스템을 제시한다. 이 시스템은 GloVe와 ELMo 임베딩을 사용하며, 교차 배치되는 교대형 LSTM-CRF 아키텍처를 채택하였다. 모델은 제출 형식 오류를 수정한 후 마이크로-F1 스코어 67.35%를 기록하여, 단지 100건의 문서로 구성된 소규모 학습 세트에도 불구하고 TAC 2018 SRIE 트랙의 Task 1에서 1등을 차지하였다.

ABSTRACT

We describe our entry for the Systematic Review Information Extraction track of the 2018 Text Analysis Conference. Our solution is an end-to-end, deep learning, sequence tagging model based on the BI-LSTM-CRF architecture. However, we use interleaved, alternating LSTM layers with highway connections instead of the more traditional approach, where last hidden states of both directions are concatenated to create an input to the next layer. We also make extensive use of pre-trained word embeddings, namely GloVe and ELMo. Thanks to a number of regularization techniques, we were able to achieve relatively large capacity of the model (31.3M+ of trainable parameters) for the size of training set (100 documents, less than 200K tokens). The system's official score was 60.9% (micro-F1) and it ranked first for the Task 1. Additionally, after rectifying an obvious mistake in the submission format, the system scored 67.35%.

연구 동기 및 목표

• 체계적 문헌 고찰에서 환경 요인의 데이터 추출을 자동화하여 수작업의 부담을 줄이고 증거 통합을 가속화한다.
• 노출, 복용량, 종료점과 같은 복잡하고 겹치며 끊어진 요소들을 추출하는 데 도전하는 문제를 해결한다.
• 24개의 엔티티 클래스를 다룰 수 있는 강건한 시퀀스 태깅 모델을 개발한다.
• 저자원 환경에서 아키텍처 선택, 데이터 증강, 사전 학습된 임베딩의 성능에 미치는 영향을 평가한다.

제안 방법

• 양방향 은닉 상태를 연결하는 대신, 교차 배치되는 교대형 LSTM 레이어를 사용한 커스터마이징된 BI-LSTM-CRF 아키텍처를 적용하였다.
• GloVe와 ELMo에서 사전 학습된 단어 임베딩을 통합하였으며, 도메인 적합성을 향상시키기 위해 PubMed 데이터로 ELMo를 미세조정하였다.
• 소규모 학습 세트(100건의 문서)에서 과적합을 관리하기 위해 드롭아웃과 조기 정지와 같은 광범위한 정규화 기법을 적용하였다.
• 역방향 번역을 통한 데이터 증강을 적용하여 학습 다양성을 높이고 일반화 능력을 향상시켰다.
• 주의 메커니즘과 은닉 상태 전파를 활용한 문장 수준 및 문서 수준의 맥락 모델링을 구현하였지만, 이는 최적의 성능을 내지 못하였다.
• 구성 요소를 체계적으로 제거함으로써 영향을 평가하기 위해 탈락 분석(ablation study)을 수행하였다(예: 하이웨이 연결, 겹침 처리, ELMo 미세조정 제거).

실험 결과

연구 질문

• RQ1 저자원 생물의학 시퀀스 태깅에서 표준 스택형 LSTM과 비교해 교대형 LSTM 아키텍처는 어떤 성능을 보이는가?
• RQ2 ELMo와 GloVe와 같은 사전 학습된 임베딩은 환경 체계적 문헌 고찰에서 희귀하고 복잡한 엔티티 클래스의 성능 향상에 얼마나 기여하는가?
• RQ3 백번역과 같은 데이터 증강 기법은 소규모 데이터 환경에서 모델의 일반화 능력에 어떤 영향을 미치는가?
• RQ4 문서 수준의 맥락 모델링 기법은 직관적으로 유용해 보이지만 성능 향상에 실패한 이유는 무엇인가?
• RQ5 저자원, 고변동성 NLP 과제에서 아키텍처 선택과 정규화 전략은 모델의 용량과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 제출 형식 오류를 수정한 후 모델은 마이크로-F1 스코어 67.35%를 기록하였으며, TAC 2018 SRIE 트랙의 Task 1에서 1등을 차지하였다.
• 100건의 문서(~200K 토큰)로만 학습된 모델는 정규화 덕분에 3,100만 개 이상의 학습 가능한 파라미터를 가짐으로써 높은 용량을 확보하였다.
• 탈락 분석 결과, 표준 스택형 LSTM(LSTM-800)이 교차 배치 아키텍처보다 교차 검증에서 더 높은 성능를 보였지만, 테스트 성능는 일관되지 않았다.
• 겹침 처리 기능을 제거한 경우(NO-OVERLAPS) F1 스코어가 67.35%에서 66.47%로 크게 하락하여, 끊어진 언급을 처리하는 데 있어 이 기능의 중요성을 입증하였다.
• 역번역을 통한 데이터 증강(NO-TRANSLATIONS)은 예상보다 작은 영향을 미쳐, 이 특정 환경에서는 유의미한 이점이 없음을 시사하였다.
• PubMed 데이터로 ELMo를 미세조정하지 않은 경우(NO-ELMO-FINETUNING) 성능이 1.93%p 감소하여, 도메인 불일치 또는 과적합의 가능성을 시사하였다.