[논문 리뷰] Vietnamese Named Entity Recognition using Token Regular Expressions and Bidirectional Inference

Phuong Le-Hong|arXiv (Cornell University)|2016. 10. 18.

Topic Modeling참고 문헌 2인용 수 18

한 줄 요약

이 논문은 다항 로지스틱 회귀 모델에서 이중 방향 추론과 토큰 수준의 정규 표현식을 조합한 하이브리드 접근 방식을 제안한다. 이는 조직명과 위치명의 구조적 패턴을 정규 표현식으로 인코딩하고, 전방 및 후방 디코딩을 활용하여 베트남어 텍스트에서 복잡한 명명된 엔티티의 인식을 크게 향상시킨다. VLSP 2016 평가에서 F₁ 스코어 89.66%를 기록하였다.

ABSTRACT

This paper describes an efficient approach to improve the accuracy of a named entity recognition system for Vietnamese. The approach combines regular expressions over tokens and a bidirectional inference method in a sequence labelling model. The proposed method achieves an overall $F_1$ score of 89.66% on a test set of an evaluation campaign, organized in late 2016 by the Vietnamese Language and Speech Processing (VLSP) community.

연구 동기 및 목표

• 복잡한 형태소구문적 구조를 지닌 저자원 언어인 베트남어에서 명명된 엔티티 인식의 정확도를 향상시키기 위해.
• 베트남어 뉴스 텍스트에서 흔히 나타나는 긴 다단어 명명된 엔티티—특히 조직명과 위치명—을 인식하는 데 도전하는 것.
• 토큰 수준의 정규 표현식을 통해 언어학적 규칙성을 통합하여 시퀀스 레이블링 성능을 향상시키기 위해.
• 이중 방향 디코딩이 명명된 엔티티 유형에 대한 문맥적 추론을 향상시키는 데 기여하는지 탐색하기 위해.
• Apache Spark를 사용하여 확장 가능하고 오픈소스인 베트남어 텍스트 처리를 위한 NER 툴킷을 개발하기 위해.

제안 방법

• 구분 특징 학습을 위한 다항 로지스틱 회귀(최대 엔트로피 모델)를 사용하여 시퀀스 레이블링을 수행한다.
• 조직명 및 위치명과 같은 명명된 엔티티의 구조적 패턴을 캡처하기 위해 토큰 수준의 정규 표현식을 도입한다. 예: 대문자, 하이픈, 숫자, 약어 등.
• 각 토큰의 표면 형태와 맥락에 기반하여 문장 내 각 토큰에 정규 표현식 유형을 할당하는 애너테이션 알고리즘을 개발한다.
• 같은 데이터에서 순서를 뒤집은 시퀀스를 사용하여 전방 및 후방 모델을 별도로 학습함으로써 이중 방향 추론 전략을 적용한다.
• 전방 및 후방 모델의 예측 결과를 투표 또는 평균화 방식으로 조합하여 전체 레이블링 정확도를 향상시킨다.
• 대규모의 베트남어 텍스트 데이터에서 효율적으로 모델을 학습하기 위해 L-BFGS 최적화와 L₂ 정규화를 활용한다.

실험 결과

연구 질문

• RQ1 토큰 수준의 정규 표현식은 조직명과 위치명과 같이 구조적 패턴이 뚜렷한 베트남어 명명된 엔티티의 패턴을 효과적으로 포착할 수 있는가?
• RQ2 순서를 전방 및 후방 모두로 처리하는 이중 방향 디코딩은 단일 방향 모델 대비 NER 성능을 향상시키는가?
• RQ3 정규 표현식과 이중 방향 추론이 조합되어 베트남어 NER에서 전체 F₁ 스코어를 어떻게 향상시키는가?
• RQ4 유사한 아키텍처를 지닌 두 모델에서 후방 모델이 전방 모델보다 위치명 인식에서 더 높은 성능을 보이는 이유는 무엇인가?
• RQ5 정규 표현식과 이중 방향 디코딩이 조직명과 같이 성능이 낮은 엔티티 유형의 오류율을 얼마나 감소시키는가?

주요 결과

• 제안된 시스템은 VLSP 2016 테스트 세트에서 전체 F₁ 스코어 89.66%를 기록하여 단일 방향 모델보다 뛰어난 성능을 보였다.
• 후방 모델은 위치명(LOC)에 대해 F₁ 스코어 88.59%를 기록하여 전방 모델의 84.00%보다 높게 나타났으며, 이는 이 엔티티 유형에 대해 역순 처리 방식이 구조적 우수성을 지닌다는 것을 시사한다.
• 조직명(ORG)에 대해서는 전방 모델이 F₁ 스코어 63.48%로 더 우수했고, 후방 모델은 52.28%로 떨어졌으며, 이는 정규 표현식이 원래 순서에서 더 효과적임을 의미한다.
• 토큰 수준의 정규 표현식은 성능 향상에 기여한다: 전방 모델에서 정규 표현식을 제거하면 ORG의 F₁ 스코어가 65.01%에서 62.94%로 감소하고, LOC의 F₁ 스코어는 83.07%에서 82.19%로 감소한다.
• 전방 및 후방 모델의 조합은 양쪽 방향의 강점을 활용하여 ORG 및 LOC 유형 모두에서 뛰어난 성능을 기록하며, 전체 F₁ 스코어를 최고로 끌어올렸다.
• 토큰 수준의 정규 표현식을 통해 언어학적 규칙성을 인코딩한 방식이, 특히 예측 가능한 패턴을 지닌 다단어 엔티티에 대해 베트남어 NER에 매우 효과적임을 시스템이 입증하였다.