[논문 리뷰] A FOFE-based Local Detection Approach for Named Entity Recognition and Mention Detection

Mingbin Xu, Hui Jiang|arXiv (Cornell University)|2016. 11. 02.

Topic Modeling참고 문헌 11인용 수 11

한 줄 요약

이 논문은 고정 크기 순서 잊기 인코딩(Fixed-size Ordinal Forgetting Encoding, FOFE)을 기반으로 한 새로운 국소 탐지 방법을 제안하여 명명된 실체 인식(NER) 및 언급 탐지에 응용한다. 문장 조각을 독립된 단위로 간주하여 각각 분류하고, FOFE를 사용해 문맥 정보를 캡처한다. 이 방법은 CoNLL 2003 및 TAC-KBP2015/2016 EDL 과제에서 뛰어난 성능을 보이며, 시스템 융합을 통해 trilingual KBP2016 평가에서 F1 스코어 0.754를 기록했다.

ABSTRACT

In this paper, we study a novel approach for named entity recognition (NER) and mention detection in natural language processing. Instead of treating NER as a sequence labelling problem, we propose a new local detection approach, which rely on the recent fixed-size ordinally forgetting encoding (FOFE) method to fully encode each sentence fragment and its left/right contexts into a fixed-size representation. Afterwards, a simple feedforward neural network is used to reject or predict entity label for each individual fragment. The proposed method has been evaluated in several popular NER and mention detection tasks, including the CoNLL 2003 NER task and TAC-KBP2015 and TAC-KBP2016 Tri-lingual Entity Discovery and Linking (EDL) tasks. Our methods have yielded pretty strong performance in all of these examined tasks. This local detection approach has shown many advantages over the traditional sequence labelling methods.

연구 동기 및 목표

• 기존의 시퀀스 레이블링 기법의 한계를 해결하기 위해, 각 조각을 독립적으로 평가하는 국소 탐지 프레임워크를 제안한다.
• 변동 길이 문장 조각과 그 왼쪽·오른쪽 문맥을 완전히 인코딩하여 실체 인식 및 언급 탐지 성능을 향상시킨다.
• 고정 크기의 순서 잊기 인코딩(FOFE) 기법을 활용해 특징 공학의 정보 손실 없이 문맥 정보를 유지한다.
• CoNLL 2003 및 TAC-KBP2015/2016 EDL 과제를 포함한 다양한 벤치마크 NER 및 언급 탐지 과제에서 최신 기술 수준의 성능을 달성한다.
• 이 방법이 POS 태깅, 채킹, 의미 분석과 같은 다른 NLP 과제로의 일반화 가능성도 입증한다.

제안 방법

• 최대 길이까지의 각 문장 조각은 실체 인식의 후보로 독립적으로 처리된다.
• 고정 크기의 순서 잊기 인코딩(FOFE) 기법을 사용해 조각과 그 왼쪽/오른쪽 문맥을 고정 크기의 벡터 표현으로 인코딩한다.
• 간단한 피드포워드 신경망이 각 조각을 유효한 실체(카테고리 포함) 또는 비실체로 분류한다.
• 단어 및 문자 임베딩을 사용해 엔드 투 엔드로 모델을 훈련하며, 훈련 데이터는 90% 훈련, 5% 검증, 5% 테스트로 분할된다.
• 다중 언어 과제의 경우, word2vec를 사용해 영어, 중국어, 스페인어 Gigaword 등 다국어 코퍼스에서 단어 임베딩을 학습한다.
• Liu 등(2016)의 CNN-RNN 모델과의 시스템 융합이 KBP2016 EDL 트랙에서 성능을 향상시키며, 특히 재현율 향상에 기여한다.

실험 결과

연구 질문

• RQ1 FOFE 인코딩 기반 국소 탐지 접근법이 기존의 시퀀스 레이블링 방법보다 NER 및 언급 탐지에서 더 우수한 성능을 낼 수 있는가?
• RQ2 FOFE 기법이 NER 과제에서 변동 길이 문장 조각의 문맥 정보를 얼마나 효과적으로 유지하는가?
• RQ3 다양한 훈련 데이터 소스(예: KBP2015, WIKI, iFLYTEK)를 조합할 경우 실체 탐지 성능에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 복수의 언어와 실체 유형(포함된 실체 및 명사적 언급 포함)으로 얼마나 잘 일반화되는가?
• RQ5 CNN-RNN 모델과의 시스템 융합이 다국어 실체 탐지 및 연결 과제에서 전체 성능에 어떤 영향을 미치는가?

주요 결과

• KBP2015 및 iFLYTEK 데이터로 훈련한 제안 방법은 KBP2016 영어 실체 탐지 과제에서 F1 스코어 0.731을 기록했으며, 단일 데이터 소스로 훈련한 모델보다 뛰어난 성능을 보였다.
• 약한 레이블이 부여된 위키백과 데이터(WIKI)를 추가하면 KBP2016 영어 평가에서 F1 스코어가 0.693에서 0.707로 향상되었다.
• 공식 KBP2016 삼국어 EDL 평가에서 시스템은 총 F1 스코어 0.718을 기록했으며, 가장 뛰어난 성능을 보인 제출 중 하나였다.
• Liu 등(2016)의 CNN-RNN 모델과의 시스템 융합을 통해 F1 스코어는 0.754로 향상되었으며, 재현율 0.735로 높은 수준을 기록해 상호 보완적인 강점을 보였다.
• 이 방법은 명시적 실체뿐 아니라 명사적 언급에 대해서도 뛰어난 성능을 보였으며, 영어에서 명사적 실체의 재현율은 0.336, 중국어에서는 0.258을 기록했다.
• 영어에서 명시적 실체의 F1 스코어는 0.840, 중국어에서는 0.768을 기록해 강력한 다국어 일반화 능력을 입증했다.