[논문 리뷰] Combining Discrete and Neural Features for Sequence Labeling

Jie Yang, Zhiyang Teng외 2명|arXiv (Cornell University)|2017. 08. 24.

Topic Modeling참고 문헌 44인용 수 36

한 줄 요약

이 논문은 이산적 수동 특징(예: 수작업으로 만든 CRF 특징)과 LSTM 기반 신경 CRF 모델로부터 유도된 신경 특징을 결합하는 공동 시퀀스 레이블링 모델을 제안한다. 두 유형의 특징을 통합함으로써, 중국어 및 영어 작업 전반에서 이질적 특징 또는 신경 특징만을 사용하는 모델보다 일관되게 뛰어난 성능을 기록하며, 단어 분할, 품사 태깅, 명명된 실체 인식에서 최고 성능을 달성한다.

ABSTRACT

Neural network models have recently received heated research attention in the natural language processing community. Compared with traditional models with discrete features, neural models have two main advantages. First, they take low-dimensional, real-valued embedding vectors as inputs, which can be trained over large raw data, thereby addressing the issue of feature sparsity in discrete models. Second, deep neural networks can be used to automatically combine input features, and including non-local features that capture semantic patterns that cannot be expressed using discrete indicator features. As a result, neural network models have achieved competitive accuracies compared with the best discrete models for a range of NLP tasks. On the other hand, manual feature templates have been carefully investigated for most NLP tasks over decades and typically cover the most useful indicator pattern for solving the problems. Such information can be complementary the features automatically induced from neural networks, and therefore combining discrete and neural features can potentially lead to better accuracy compared with models that leverage discrete or neural features only. In this paper, we systematically investigate the effect of discrete and neural feature combination for a range of fundamental NLP tasks based on sequence labeling, including word segmentation, POS tagging and named entity recognition for Chinese and English, respectively. Our results on standard benchmarks show that state-of-the-art neural models can give accuracies comparable to the best discrete models in the literature for most tasks and combing discrete and neural features unanimously yield better results.

연구 동기 및 목표

• 이질적 수동 특징과 신경 특징을 결합함으로써, 단독으로 사용할 경우에 비해 시퀀스 레이블링 성능 향상 여부를 조사하는 것.
• 단어 분할, 품사 태깅, 명명된 실체 인식과 같은 여러 기본적인 자연어 처리 작업에서 특징 통합의 효과를 체계적으로 평가하는 것.
• 중국어 및 영어 표준 자연어 처리 데이터셋을 대상으로 신경 특징 통합을 통한 최고 성능 기준을 설정하는 것.
• 재현 가능성 및 향후 연구 활용을 위해 LSTM 및 CRF 모델의 오픈소스 구현을 공개하는 것.

제안 방법

• 각 작업에 대해 수작업으로 설계된 이질적 특징을 갖춘 조건부 확률장(CRF) 모델을 기준 이질적 모델로 사용한다.
• 입력 시퀀스에서 조밀하고 분산된 신경 특징을 자동으로 추출하기 위해 별도의 장기 단기 기억(LSTM) 네트워크를 활용한다.
• 이질적 CRF 모델과 신경 CRF 모델의 예측 결과를 출력층을 융합하여 공동 예측 모델을 구성한다.
• 교차 엔트로피 손실을 최적화 기준으로 사용하여 중국어 및 영어 표준 벤치마크 데이터셋에서 공동 모델을 엔드 투 엔드로 훈련한다.
• 원시 텍스트 데이터로부터 저차원 실수값 표현을 캡처하기 위해 단어 임베딩을 LSTM 레이어의 입력으로 사용한다.
• 테스트 세트에서 표준 평가 지표(F1, 정확도)를 사용하여 다양한 모델 간의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 이질적 수동 특징과 신경 특징을 통합하면, 단독으로 사용할 경우에 비해 일관된 성능 향상이 이루어지는가?
• RQ2 이질적 특징과 신경 특징은 각각 어떤 종류의 정보를 캡처하는가? 그리고 얼마나 상호보완적인가?
• RQ3 공동 모델은 단어 분할, 품사 태깅, NER와 같은 시퀀스 레이블링 작업에서 최고 수준의 시스템을 초월하는가?
• RQ4 특징 통합의 성과는 다양한 언어(중국어 및 영어)와 다양한 자연어 처리 작업 전반에서 일관된가?
• RQ5 신경 특징 통합이 자원이 제한되거나 모호한 맥락에서 재현율과 정밀도에 어떤 영향을 미치는가?

주요 결과

• 공동 모델은 모든 작업과 언어에서 이질적 특징 전용 모델 및 신경 특징 전용 모델을 일관되게 뛰어넘으며, 예외가 없었다.
• 중국어 단어 분할 작업에서, 공동 모델은 PKU 데이터셋에서 F1 점수 95.66을 기록하여 최고의 이질적 모델(95.64)과 최고의 신경 모델(95.68)을 모두 초월했다.
• 영어 품사 태깅에서, 공동 모델은 97.47%의 정확도를 달성하여 최고 수준의 시스템(97.24%)을 0.23%p 뛰어넘었다.
• 중국어 품사 태깅에서, 공동 모델은 95.07%의 정확도를 기록하여 최고 수준의 시스템(94.10%)보다 0.97%p 향상되었다.
• NER 작업에서, 공동 모델은 영어에서 F1 점수 82.57%, 중국어에서 76.40%를 기록하여 각각 최고 수준의 시스템(80.10% 및 75.02%)을 뛰어넘었다.
• 개별 문장의 F1 점수 분포를 분석한 결과, 이질적 모델과 신경 모델이 서로 다른 예측을 내놓았으며, 이는 두 모델이 상호보완적임을 확인시켰다.