[논문 리뷰] Joint Named Entity Recognition and Stance Detection in Tweets

Dilek Küçük|arXiv (Cornell University)|2017. 07. 30.

Sentiment Analysis and Opinion Mining참고 문헌 10인용 수 4

한 줄 요약

이 논문은 터키어 트윗에서 명명된 엔티티 인식(NER)과 태도 탐지의 통합적 접근을 제안한다. 확장된 규칙 기반 NER 시스템을 사용해 엔티티를 추출한 후, 이를 SVM 기반 태도 분류기의 추가 특징으로 활용한다. 결과적으로 NER 출력을 통합할 경우 태도 탐지 성능이 뚜렷이 향상되며, 특히 정확도가 높은 수작업로 애너테이션된 엔티티를 사용할 경우 성능 향상이 두드러진다. 이는 소셜 미디어 텍스트에서 명명된 엔티티가 태도 분류 성능 향상에 기여한다는 것을 보여준다.

ABSTRACT

Named entity recognition (NER) is a well-established task of information extraction which has been studied for decades. More recently, studies reporting NER experiments on social media texts have emerged. On the other hand, stance detection is a considerably new research topic usually considered within the scope of sentiment analysis. Stance detection studies are mostly applied to texts of online debates where the stance of the text owner for a particular target, either explicitly or implicitly mentioned in text, is explored. In this study, we investigate the possible contribution of named entities to the stance detection task in tweets. We report the evaluation results of NER experiments as well as that of the subsequent stance detection experiments using named entities, on a publicly-available stance-annotated data set of tweets. Our results indicate that named entities obtained with a high-performance NER system can contribute to stance detection performance on tweets.

연구 동기 및 목표

• 트위터에서 추출한 명명된 엔티티가 태도 탐지 성능 향상에 기여하는지 조사하기 위해.
• SVM 분류기로 태도 탐지에 영향을 미치는 NER 품질의 영향을 평가하기 위해.
• 규칙 기반 시스템에서 추출한 NER 출력과 수작업 애너테이션된 명명된 엔티티를 사용한 태도 탐지 성능를 비교하기 위해.
• 단어형, 명명된 엔티티, 해시태그를 특징으로 조합하여 태도 탐지 모델에 미치는 영향을 분석하기 위해.
• 터키어 트윗에서 다양한 태도 대상(Target-1 대비 Target-2 등)에 따라 명명된 엔티티 기여도가 달라지는지 평가하기 위해.

제안 방법

• 공개된 터키어 트윗 데이터셋에 확장된 규칙 기반 NER 시스템을 적용하였으며, 소셜 미디어 텍스트에서 흔한 소문자 및 딴표기(다이어크리틱)를 처리하기 위해 수정하였다.
• 각 트윗에서 명명된 엔티티(Person, Location, Organization)를 추출하고, 이를 SVM 분류기의 추가 특징으로 사용하였으며, 이와 함께 단어형 특징도 함께 사용하였다.
• SVM 분류기를 사용해 태도 탐지를 수행하였으며, 두 가지 특징 세트를 사용: 단어형 특징만, 단어형 특징과 명명된 엔티티 특징을 조합.
• 세 번째 특징 세트는 단어형 특징, 명명된 엔티티 특징, 해시태그 특징을 모두 포함하여 이들의 종합적 기여도를 평가하였다.
• 성능 평가에는 정밀도, 재현율, F-measure를 사용하였으며, NER 출력 결과를 수작업 애너테이션 기준과 비교하였다.
• 두 스포츠 클럽과 관련된 균형 잡힌 700개의 터키어 트윗 데이터셋을 사용하였으며, 각 대상에 대해 태도 레이블(Favor/Against)이 부여되었다.

실험 결과

연구 질문

• RQ1 트위터에서 추출한 명명된 엔티티가 태도 탐지 시스템의 성능 향상에 기여할 수 있는가?
• RQ2 NER 출력의 품질이 태도 탐지 정확도에 미치는 영향은 어떠한가?
• RQ3 명명된 엔티티의 포함 여부가 다양한 태도 대상(Target-1 대비 Target-2 등)에서 일관된 성능 향상 효과를 보이는가?
• RQ4 단어형, 명명된 엔티티, 해시태그를 특징으로 조합했을 때 태도 탐지에 미치는 종합적 영향은 무엇인가?
• RQ5 수작업 애너테이션된 명명된 엔티티와 NER 도구로 추출한 엔티티를 사용했을 때 태도 분류 성능에 격차가 존재하는가?

주요 결과

• 명명된 엔티티를 추가 특징으로 사용함으로써 태도 탐지 F-measure가 평균 0.5–1.5%p 향상되었으며, 특히 Target-2에서 가장 두드러진 성능 향상이 관찰되었다(수작업 애너테이션된 엔티티 사용 시 F-measure가 76.6%에서 79.7%로 상승).
• 수작업 애너테이션된 명명된 엔티티 사용 시 NER로 추출한 엔티티보다 일관되게 높은 성능을 보였으며, 평균 F-measure 향상 폭은 1.2–1.5%p였다. 이는 NER 오류가 태도 탐지 성능에 악영향을 미친다는 것을 시사한다.
• Target-1의 경우 명명된 엔티티 추가로 F-measure가 약간 향상되었음(해시태그 포함 시 79.8%에서 80.4%로 상승), 반면 Target-2의 경우 성능이 약간 하락함(76.6%에서 75.5%로 감소), 이는 특징 간 복잡한 상호작용이 존재함을 시사한다.
• 모든 설정에서 Favor 클래스의 F-measure가 Against 클래스보다 뚜렷이 높게 유지되었으며, 이는 클래스 불균형 또는 긍정적 태도를 향한 모델 편향을 시사한다.
• NER 시스템은 데이터셋에서 매크로 F-measure 76.6%를 기록하였으며, 엔티티 인식 오류(예: 엔티티 누락 또는 잘못 분류)가 심각하여 후속 태도 탐지 성능에 직접적인 영향을 미쳤다.
• 결과적으로 고품질의 NER 출력이 효과적인 통합 NER 및 태도 탐지에 필수적임을 확인하였으며, 중간 정도의 NER 오류라도 명명된 엔티티 통합의 이점을 감소시킬 수 있음을 보여준다.