[논문 리뷰] Adversarial Learning for Chinese NER from Crowd Annotations

YaoSheng Yang, Meishan Zhang외 4명|arXiv (Cornell University)|2018. 01. 16.

Topic Modeling참고 문헌 25인용 수 10

한 줄 요약

이 논문은 노이즈가 있는 커뮤니티 애너테이션을 사용하여 중국어 명명된 실체 인식(NER)을 위한 적대적 학습 프레임워크를 제안한다. 공유 Bi-LSTM을 통해 작업자 간 불변 특징을 추출하고, 각 애너테이터 전용 패턴을 위해 비공유 Bi-LSTM을 활용하여, 대화 및 전자상거래 도메인에서 새롭게 제작된 두 개의 중국어 NER 데이터셋에서 최신 기술 수준의 성능을 달성한다. 강력한 기준 모델 대비 F1 점수 최대 2.38% 향상.

ABSTRACT

To quickly obtain new labeled data, we can choose crowdsourcing as an alternative way at lower cost in a short time. But as an exchange, crowd annotations from non-experts may be of lower quality than those from experts. In this paper, we propose an approach to performing crowd annotation learning for Chinese Named Entity Recognition (NER) to make full use of the noisy sequence labels from multiple annotators. Inspired by adversarial learning, our approach uses a common Bi-LSTM and a private Bi-LSTM for representing annotator-generic and -specific information. The annotator-generic information is the common knowledge for entities easily mastered by the crowd. Finally, we build our Chinese NE tagger based on the LSTM-CRF model. In our experiments, we create two data sets for Chinese NER tasks from two domains. The experimental results show that our system achieves better scores than strong baseline systems.

연구 동기 및 목표

• 낮은 품질의 노이즈 있는 커뮤니티 애너테이션 데이터에서 효과적인 중국어 NER 모델을 훈련시키는 데 도전하는 것.
• 커뮤니티 기반 레이블링에서 애너테이터의 다양성과 레이블 노이즈의 부정적 영향을 줄이는 것.
• 전문가가 애너테이션한 데이터가 부족한 저자원 도메인, 예를 들어 대화 및 전자상거래 도메인에서 NER 성능을 향상시키는 것.
• 다양한 커뮤니티 작업자들로부터 공통 패턴과 애너테이터 전용 패턴을 동시에 학습할 수 있는 딥 러닝 프레임워크를 개발하는 것.
• 적대적 훈련이 노이즈 있는 커뮤니티 레이블에서 작업자 간 불변 표현을 효과적으로 추출할 수 있는지 확인하는 것.

제안 방법

• 공유 Bi-LSTM을 사용하여 다양한 작업자 간에 불변하는 특징을 학습한다.
• 각 애너테이터별로 별도의 비공유 Bi-LSTM을 훈련시어 애너테이터 전용 레이블링 행동을 모델링한다.
• 커뮤니티 애너테이션된 NER 레이블의 시퀀스에 대해 레이블 Bi-LSTM을 훈련시어 다수의 애너테이터 경향성을 표현한다.
• 작업자 식별자 디스크림네이터를 훈련시어 공유 Bi-LSTM 특징과 레이블 Bi-LSTM 특징를 구분하도록 하여, 공유 특징이 작업자 간 불변이 되도록 유도한다.
• 공유 Bi-LSTM는 적대적 훈련을 통해 디스크림네이터 손실을 최대화하면서도 NER 손실을 최소화하도록 공동 최적화된다.
• 최종 NER 모델은 공유 Bi-LSTM 특징과 CRF 레이어를 조합하여 시퀀스 디코딩을 수행하며, 이는 LSTM-CRF 아키텍처를 형성한다.

실험 결과

연구 질문

• RQ1 노이즈 있는 커뮤니티 애너테이션에서 중국어 NER에 대해 적대적 훈련이 작업자 간 불변 특징을 효과적으로 추출할 수 있는가?
• RQ2 다수결 투표와 표준 NER 모델에 비해 제안된 모델은 커뮤니티 애너테이션 데이터로 훈련했을 때 어떻게 성능을 내는가?
• RQ3 제한된 전문가 애너테이션 데이터를 가진 대화 및 전자상거래 도메인 간에 모델의 일반화 능력은 어느 정도인가?
• RQ4 사전 학습된 문자 임베딩의 사용이 제안된 적대적 커뮤니티 애너테이션 학습 프레임워크에서 성능 향상에 기여하는가?
• RQ5 다수결 투표 없이 원시 커뮤니티 애너테이션 데이터로 훈련했을 때, 모델이 강력한 기준 모델인 LSTM-CRF 및 CRF를 능가할 수 있는가?

주요 결과

• 제안된 ALCrowd 모델은 EC-UQ 데이터셋에서 강력한 LSTM-CRF 기준 모델 대비 F1 점수 2.38% 향상되었다.
• DL-PS 데이터셋에서는 LSTM-CRF 대비 F1 점수 1.08점 향상되어 다양한 도메인에서 일관된 성능 향상을 보였다.
• 모든 기준 모델 대비 통계적으로 유의미한 성능 향상(α < 10^-5)을 보이며, 적대적 특징 학습의 효과를 확인했다.
• 사전 학습된 문자 임베딩은 성능 향상에 크게 기여했으며, 무작위 초기화된 임베딩을 사용한 모델보다 뛰어난 성능을 보였다.
• 다수결 투표는 특히 모호한 문장에서 정보가 풍부한 애너테이션 분산을 손실하여 성능 저하를 초래했다.
• 사례 연구 결과, ALCrowd는 LSTM-CRF와 다수결 투표 시스템이 놓친 'Xiexie'와 같은 명명된 실체를 정확히 식별하는 것으로 나타났다.