[논문 리뷰] A Boundary Regression Model for Nested Named Entity Recognition

Yanping Chen, Lefei Wu외 8명|arXiv (Cornell University)|2020. 11. 29.

Topic Modeling인용 수 16

한 줄 요약

이 논문은 엔티티 경계를 연속적인 값으로 표현하고 회귀를 통해 그 위치를 정밀하게 보정함으로써 내재된 명명된 엔티티 인식을 위한 경계 회귀(BR) 모델을 제안한다. 공유된 깊은 표현을 활용하고 모든 가능한 엔티티 스파니를 전수 조사하지 않음으로써 계산 비용을 줄이며, 엔티티 클래스 예측과 경계 오프셋 회귀를 동시에 수행하는 다목적 학습 프레임워크를 도입하여, 내재된 NE 인식에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recognizing named entities (NEs) is commonly conducted as a classification problem that predicts a class tag for a word or a NE candidate in a sentence. In shallow structures, categorized features are weighted to support the prediction. Recent developments in neural networks have adopted deep structures that map categorized features into continuous representations. This approach unfolds a dense space saturated with high-order abstract semantic information, where the prediction is based on distributed feature representations. In this paper, positions of NEs in a sentence are represented as continuous values. Then, a regression operation is introduced to regress boundaries of NEs in a sentence. Based on boundary regression, we design a boundary regression model to support nested NE recognition. It is a multiobjective learning framework, which simultaneously predicts the classification score of a NE candidate and refine its spatial location in a sentence. It has the advantage to resolve nested NEs and support boundary regression for locating NEs in a sntence. By sharing parameters for predicting and locating, this model enables more potent nonlinear function approximators to enhance model discriminability. Experiments demonstrate state-of-the-art performance for nested NE recognition\footnote{Our codes to implement the BR model are available at: \url{https://github.com/wuyuefei3/BR}.}.

연구 동기 및 목표

• 시퀀스 레이블링 모델이 내재된 명명된 엔티티 구조를 포착하는 데 한계를 가진다는 문제를 해결하기 위해.
• 모든 가능한 NE 스팬을 전수 조사하는 방식으로 인해 발생하는 계산 비효율성과 데이터 불균형 문제를 해결하기 위해.
• 컴퓨터 비전에서의 객체 탐지 기법을 자연어 처리에 적응시키기 위해 엔티티 경계를 연속적인 값으로 모델링함으로써.
• 분류와 경계 정밀화를 동시에 수행하는 통합된 딥 러닝 프레임워크를 설계하여 공동 최적화를 실현하기 위해.
• 분류 및 회귀 헤드 간의 파라미터 공유를 통해 모델의 구분 능력과 일반화 능력을 향상시키기 위해.

제안 방법

• 엔티티 경계를 이산적인 토큰 위치가 아닌 연속적인 값으로 표현하여, 회귀 기반 정밀화를 가능하게 하기 위해.
• 공유된 특징 추출, 영역 제안 네트워크, 별도의 분류 및 회귀 헤드를 갖춘 다목적 학습 프레임워크를 설계하기 위해.
• 학습 중에 예측된 경계 위치와 진짜 경계 위치 간의 오프셋을 최소화하기 위해 선형층을 사용하기 위해.
• 영역 제안 모듈을 통해 후보 스팬(텍스트 기반 경계 상자)를 생성하고, 경계 회귀를 통해 그 공간적 위치를 정밀화하기 위해.
• 문장으로부터 고수준의 의미적 표현을 추출하기 위해 딥 네ural 네트워크를 사용하고, 이후 클래스 점수와 경계 오프셋을 공동으로 예측하기 위해.
• 분류 정확도와 경계 정렬 정밀도를 동시에 최적화하기 위해 엔드 투 엔드 학습을 적용하기 위해.

실험 결과

연구 질문

• RQ1 이산적 시퀀스 레이블링 대비 연속적 경계 회귀가 내재된 명명된 엔티티 인식의 정확도를 향상시키는가?
• RQ2 분류와 경계 회귀의 공동 학습이 내재된 NE에서의 모델 성능을 어떻게 향상시키는가?
• RQ3 경계 회귀는 NE 인식에서 모든 스팬을 전수 조사하는 데 필요한 수요를 얼마나 줄일 수 있는가?
• RQ4 제안된 BR 모델은 다양한 내재된 NE 비율과 복잡한 언어적 구조에 대해 일반화 가능한가?
• RQ5 분류 및 회귀 헤드 간의 파라미터 공유가 모델의 구분 능력과 효율성에 어떤 영향을 미치는가?

주요 결과

• BR 모델은 벤치마크 데이터셋에서 내재된 명명된 엔티티 인식에서 최신 기술 수준의 성능을 달성하며, 기존 방법들을 능가한다.
• 모델은 경계 예측을 연속적 값에 대한 회귀 작업으로 간주함으로써 내재된 NE를 효과적으로 해결하며, 스팬 전수 조사의 한계를 피한다.
• 분류와 경계 회귀의 공동 최적화는 정렬 정확도 향상과 복잡한 내재된 구조에서의 더 나은 일반화를 이끈다.
• 연속적 경계 표현의 사용은 특히 겹치는 또는 깊이 중첩된 엔티티의 경우 더 정밀한 공간적 정밀화를 가능하게 한다.
• 스패닝 기반 접근 방식에서 흔히 발생하는 데이터 불균형과 높은 계산 복잡도 문제에 대해 모델은 강건성을 보였다.
• 실험 결과는 공유된 특징 추출을 갖춘 다목적 학습 프레임워크가 모델의 구분 능력과 효율성을 향상시킨다는 것을 확인한다.