[논문 리뷰] A Chinese Dataset with Negative Full Forms for General Abbreviation Prediction

Yi Zhang, Xu Sun|arXiv (Cornell University)|2017. 12. 18.

Natural Language Processing Techniques참고 문헌 19인용 수 4

한 줄 요약

이 논문은 일반 약어 예측을 위한 새로운 중국어 데이터셋을 소개하며, 유효한 약어가 없는 항목(부정적 전형, NFFs)을 포함하고 있어 기존 데이터셋의 핵심적 부족을 보완한다. 이 데이터셋은 신뢰할 수 있는 NLP 자료에서 유래하여 어절 분할 및 품사 태깅으로 사전 처리되었으며, CRF, MEMM, 퍼셉트론, 양방향 LSTM 등의 모델을 훈련 및 평가할 수 있도록 한다. 특히 양방향 LSTM가 정확도 및 NFF 식별 작업 모두에서 최고의 성능을 기록하였다.

ABSTRACT

Abbreviation is a common phenomenon across languages, especially in Chinese. In most cases, if an expression can be abbreviated, its abbreviation is used more often than its fully expanded forms, since people tend to convey information in a most concise way. For various language processing tasks, abbreviation is an obstacle to improving the performance, as the textual form of an abbreviation does not express useful information, unless it's expanded to the full form. Abbreviation prediction means associating the fully expanded forms with their abbreviations. However, due to the deficiency in the abbreviation corpora, such a task is limited in current studies, especially considering general abbreviation prediction should also include those full form expressions that do not have valid abbreviations, namely the negative full forms (NFFs). Corpora incorporating negative full forms for general abbreviation prediction are few in number. In order to promote the research in this area, we build a dataset for general Chinese abbreviation prediction, which needs a few preprocessing steps, and evaluate several different models on the built dataset. The dataset is available at https://github.com/lancopku/Chinese-abbreviation-dataset

연구 동기 및 목표

• 기존 데이터셋에서 부족한 부정적 전형(NFFs)을 포함한 중국어 약어 예측을 위한 데이터셋 부족 문제를 해결하기 위해.
• 유효한 약어가 있는 전형과 없는 전형을 모두 포함한 포괄적이고 신뢰할 수 있는 중국어 전형 데이터셋을 구축하여 일반 약어 예측 연구를 지원하기 위해.
• CRF, MEMM, 평균 퍼셉트론, 양방향 LSTM 등의 다양한 기계학습 모델을 이 새로운 데이터셋에서 평가하여, 긍정적 및 부정적 전형 예측 모두에서 성능을 평가하기 위해.
• 특히 양방향 LSTM와 같은 신경망 모델이 일반 약어 예측의 복잡성을 다루는 데서 전통적 모델을 능가하며, NFF를 식별하는 데서도 뛰어난 성능을 보임을 입증하기 위해.

제안 방법

• 데이터셋은 인용된 중국어 NLP 데이터셋(예: 인민일보)에서 유래하며, 유효한 약어가 있는 긍정적 전형과 유효한 약어가 없는 부정적 전형을 모두 포함한다.
• 사전 처리 단계로 어절 분할 및 품사(POS) 태깅을 수행하여 모델 입력에 필요한 언어학적 특징을 제공한다.
• 전형 내 각 문자에 대해 어절 분할 태그와 품사 태그를 할당하며, 이들은 20차원 벡터로 임bedding되고 50차원 문자 임베딩과 연결되어 순차 모델의 입력으로 사용된다.
• 양방향 LSTM(BLSTM)은 과거와 미래의 맥락을 모두 포착하기 위해 사용되며, 은닉 크기가 200(앞서 100, 뒤로 100)이며, 조건부 레이블링 메커니즘을 통해 약어 문자를 예측한다.
• CRF 모델은 순차 레이블링 기반의 베이스라인으로 사용되며, 전역적 특징 의존성을 활용한다. MEMM과 평균 퍼셉트론은 비교를 위한 전통적 판별 모델로 활용된다.
• 모델 평가는 두 가지 지표를 사용한다: All-match 정확도(전체 예측 약어를 정답 기준과 비교)와 문자 수준 정확도(문자 단위 예측 정확도).

실험 결과

연구 질문

• RQ1 부정적 전형(NFFs)을 포함한 대규모 중국어 데이터셋이 일반 약어 예측 모델의 성능 향상에 기여할 수 있는가?
• RQ2 전통적 순차 모델(CRF, MEMM, 평균 퍼셉트론)과 딥러닝 모델(BLSTM) 간의 약어 예측 성능, 특히 NFF 식별 능력에서의 비교는 어떠한가?
• RQ3 품사 및 어절 분할 정보를 통합할 경우 약어 예측 성능 향상에 어느 정도 기여하는가?
• RQ4 특히 중국어의 비정상적인 약어 패턴을 다룰 때, 양방향 LSTM이 맥락적 의존성을 포착하는 데서 다른 모델보다 뛰어난가?

주요 결과

• 양방향 LSTM 모델이 All-match 정확도와 문자 수준 정확도 양면에서 CRF, MEMM, 평균 퍼셉트론을 모두 앞서는 최고의 종합 성능을 기록하였다.
• CRF 모델은 문자 수준 정확도에서 뛰어난 성능을 보였으며, 이는 약어 예측에 있어 순차적 의존성을 효과적으로 모델링할 수 있음을 시사한다.
• 간단한 히ュ리스틱 기반 베이스라인(각 어절의 첫 글자 사용)은 성능이 열악하여, 중국어 약어의 비정상적인 패턴을 다루기 위해 고도화된 모델이 필요함을 시사한다.
• 부정적 전형(NFFs)의 포함은 모든 모델의 성능을 낮추며, 특히 긍정적 전형과 NFF를 식별하는 데서 어려움을 증가시켜 작업의 복잡도를 크게 높인다.
• 공개된 데이터셋(https://github.com/lancopku/Chinese-abbreviation-dataset)은 향후 NFF를 포함한 중국어 약어 예측 연구에 있어 귀중한 기준 데이터셋을 제공한다.