[논문 리뷰] A Tweet Dataset Annotated for Named Entity Recognition and Stance Detection

Dilek Küçük, Fazlı Can|arXiv (Cornell University)|2019. 01. 15.

Topic Modeling참고 문헌 18인용 수 9

한 줄 요약

이 논문은 명시적 개체명 인식(NER)과 입장 탐지 둘 다를 위한 공개된 터키어 트윗 데이터셋을 소개한다. 이는 이러한 두 NLP 작업 간의 상호작용에 대한 연구를 가능하게 한다. 1,000개의 트윗을 포함하며, 0기반 문자 수준 NER 주석(PERSON, LOCATION, ORGANIZATION)과 입장 레이블(Favor, Against, Neither)을 포함한 이 데이터셋은 두 가지 주석을 모두 포함한 최초의 자료로, 명시적 개체명을 특징으로 사용할 경우 입장 탐지 성능 향상에 기여한다.

ABSTRACT

Annotated datasets in different domains are critical for many supervised learning-based solutions to related problems and for the evaluation of the proposed solutions. Topics in natural language processing (NLP) similarly require annotated datasets to be used for such purposes. In this paper, we target at two NLP problems, named entity recognition and stance detection, and present the details of a tweet dataset in Turkish annotated for named entity and stance information. Within the course of the current study, both the named entity and stance annotations of the included tweets are made publicly available, although previously the dataset has been publicly shared with stance annotations only. We believe that this dataset will be useful for uncovering the possible relationships between named entity recognition and stance detection in tweets.

연구 동기 및 목표

• 터키어와 같은 저자원 언어에서 소셜 미디어 NLP 작업을 위한 多국어, 다중 주석이 부여된 데이터셋의 부족 문제를 해결하기 위해.
• 명시적 개체명 주석이 입장 탐지 성능 향상에 기여할 수 있는 잠재적 기여도를 연구할 수 있도록 하기 위해.
• 터키어 트윗을 위한 NER와 입장 주석을 모두 포함한 공개 접근이 가능한 고품질 데이터셋을 제공하기 위해.
• 터키어 소셜 미디어 텍스트 분석을 위한 감독 학습 NLP 모델의 개발 및 평가를 지원하기 위해.
• 이전 연구에서 명시적 개체명을 특징으로 사용했지만 전체 주석 데이터셋을 공개하지 않은 작업을 보완하기 위해.

제안 방법

• 데이터셋은 1,000개의 터키어 트윗에서 유래되었으며, 명시적 개체명과 입장에 대해 수작업 주석이 부여되었다.
• 명시적 개체명은 0기반 문자 범위 체계를 사용하여 레이블이 지정되었으며, 유형은 PERSON, LOCATION, ORGANIZATION이다.
• 입장은 특정 대상(예: Galatasaray, Fenerbahçe)에 대해 주석이 되었으며, Favor, Against, Neither로 분류되었다.
• 주석은 트윗 ID, 대상, 입장 클래스, 그리고 NE 삼중항 리스트(시작, 종료, 유형)를 포함한 구조화된 세미콜론으로 분리된 형식으로 저장되었다.
• 이전의 입장 탐지 연구에서 유래되었으며, NER 주석을 추가하여 이전 연구와 일관성을 확보하였다.
• 최종 데이터셋은 공개되어 있으며, 두 주석이 모두 처음으로 공개된 상태이다.

실험 결과

연구 질문

• RQ1 명시적 개체명 주석은 터키어 트윗의 입장 탐지 모델 성능 향상에 기여할 수 있는가?
• RQ2 소셜 미디어 텍스트에서 명시적 개체명 인식과 입장 탐지 간의 관계는 어떠한가?
• RQ3 다른 명시적 개체명 유형(예: ORGANIZATION, PERSON)은 입장 분류에 어떻게 기여하는가?
• RQ4 이중 주석이 부여된 공유 데이터셋이 저자원 언어인 터키어의 NLP 연구를 어느 정도 발전시킬 수 있는가?
• RQ5 이전 실험에서 제안한 바와 같이, 명시적 개체명을 특징으로 사용할 경우 측정 가능한 이점이 있는가?

주요 결과

• 이 데이터셋은 터키어 트윗에서 명시적 개체명 인식과 입장 탐지에 모두 주석이 부여된 최초의 공개 자료이다.
• 이전 실험에서 명시적 개체명 특징이 SVM 기반의 입장 탐지 모델의 성능을 약간 향상시킨 것으로 나타나, 두 작업 간 잠재적인 관계가 있음을 시사한다.
• 정확한 문자 수준의 명시적 개체명 범위와 함께 수작업 주석이 부여된 1,000개의 트윗을 포함한다.
• 두 주석을 하나의 공개 데이터셋에 통합함으로써, 교차 작업 특징 활용 및 모델 전이에 대한 새로운 연구가 가능해졌다.
• 이 데이터셋은 향후 터키어 NLP 연구, 특히 이러한 자원이 부족한 저자원 환경에서의 연구를 지원할 것으로 기대된다.
• 세미콜론으로 분리된 필드와 0기반 인덱싱을 사용한 구조화된 형식 덕분에 재현 가능성이 높고 NLP 파이프라인에 쉽게 통합할 수 있다.