[논문 리뷰] Scientific Information Extraction with Semi-supervised Neural Tagging

Yi Luan, Mari Ostendorf외 1명|arXiv (Cornell University)|2017. 08. 21.

Advanced Text Analysis Techniques참고 문헌 32인용 수 9

한 줄 요약

이 논문은 과학적 정보 추출을 위한 준지도 학습 신경 태깅 모델을 제안하며, 关련어 추출 문제를 시퀀스 태깅 문제로 재정의하고, 신뢰도 인식 데이터 선택과 함께 그래프 기반 레이블 전파를 활용하여 자원이 부족한 과학 텍스트에서 성능을 향상시킨다. 이는 2017년 SemEval Task 10 ScienceIE 벤치마크에서 최고 성능을 기록하였으며, 이론적 방법이 순수 자기학습보다 최대 8.6% 상대적 향상을 보였다.

ABSTRACT

This paper addresses the problem of extracting keyphrases from scientific articles and categorizing them as corresponding to a task, process, or material. We cast the problem as sequence tagging and introduce semi-supervised methods to a neural tagging model, which builds on recent advances in named entity recognition. Since annotated training data is scarce in this domain, we introduce a graph-based semi-supervised algorithm together with a data selection scheme to leverage unannotated articles. Both inductive and transductive semi-supervised learning strategies outperform state-of-the-art information extraction performance on the 2017 SemEval Task 10 ScienceIE task.

연구 동기 및 목표

• 과학 분야에서 레이블이 부족한 데이터로 인해 발생하는 자원이 부족한 과학적 정보 추출 문제를 해결하기 위해.
• 문제를 시퀀스 태깅으로 재정의하여 '작업', '과정', '물질' 세 가지 범주에 대한 관련어 추출 성능을 향상시키기 위해.
• 대규모 비라벨 과학 논문을 활용하는 준지도 학습을 통해 성능을 향상시키기 위해.
• 도메인 내 및 도메인 간 비라벨 데이터의 영향과 데이터 선택 전략이 모델 일반화에 미치는 영향을 조사하기 위해.
• 과학적 관련어 분류에서의 실패 원인과 도메인 특화 과제를 분석하기 위해.

제안 방법

• ScienceIE 데이터셋에서 소량의 레이블이 부여된 과학적 문단을 기반으로 히에라르키컬 LSTM-CRF 신경 태깅 모델을 훈련한다.
• 비라벨 문장의 후행 확률을 추정하기 위해 유사도 기반 문장 표현 그래프를 활용한 그래프 기반 레이블 전파를 적용한다.
• 낮은 신뢰도 예측을 누락 레이블로 간주하고 손실 계산 시 이를 무시하는 신뢰도 인식 학습 목표를 도입한다.
• 고신뢰도 비라벨 예제를 필터링하고 우선순위를 정하여 훈련 루프에 포함시키는 데이터 선택 기법(ULM)을 활용한다.
• 일반화 성능 향상을 위해 유도적(self-training) 및 비유도적(graph-based) 준지도 학습 전략을 모두 탐색한다.
• 희귀어 및 도메인 특화 용어의 표현 학습을 향상시키기 위해 도메인 내 사전 학습된 단어 임베딩과 문자 수준 임베딩을 활용한다.

실험 결과

연구 질문

• RQ1 레이블이 제한된 과학적 텍스트에서 준지도 학습이 관련어 추출 성능을 크게 향상시킬 수 있는가?
• RQ2 유도적 및 비유도적 준지도 학습 전략이 과학적 정보 추출에서 성능과 일반화 능력에 미치는 영향은 어떠한가?
• RQ3 도메인 내와 도메인 간 비라벨 데이터를 사용할 경우 모델 성능과 강건성에 어떤 영향을 미치는가?
• RQ4 신뢰도 인식 학습 목표와 데이터 선택 기법이 모델 수렴과 레이블 정확도에 어떤 영향을 미치는가?
• RQ5 희귀 범주인 '작업'에 대해 관련어 식별에서 주요 실패 원인과 오류 패tern은 무엇인가?

주요 결과

• 제안된 준지도 학습 모델은 2017년 SemEval Task 10 ScienceIE 벤치마크에서 이전의 지도 학습 및 다중 작업 학습 접근법을 능가하는 최고 성능을 기록하였다.
• 비유도적 방법인 ULM+GraphFeat*는 순수 자기학습 대비 8.6% 상대적 향상을 보이며, 신뢰도 인식 학습과 함께 그래프 기반 레이블 전파의 효과를 입증하였다.
• 유도적 방법인 ULM+GraphInterp도 자기학습 대비 5.6% 상대적 향상을 기록하여, 유도적 준지도 학습 역시 뚜렷한 성과 향상을 이룬다는 것을 보여주었다.
• '작업' 범주에서의 성능은 '과정'과 '물질'에 비해 뚜렷이 낮았으며, 주로 빈도가 낮고 동사어구를 포함해 탐지가 어려운 점 때문이었다.
• ULM+GraphFeat*를 사용할 경우 '과정'과 '물질' 간 혼동률이 각각 3.5%, 3.6% 감소하여 범주 간 구분 능력 향상이 확인되었다.
• 오류 분석 결과 공통적인 실패 케이스로는 'to' 뒤에 오는 동사어구 누락, 일반 용어('receptors')나 형용사('neighbouring') 오분류, 그리고 'SWE'와 같은 모호한 용어에 대한 충분한 맥락 부족이 확인되었다.