[논문 리뷰] Acquiring Background Knowledge to Improve Moral Value Prediction

Ying Lin, Joe Hoover외 3명|arXiv (Cornell University)|2017. 09. 16.

Hate Speech and Cyberbullying Detection참고 문헌 26인용 수 3

한 줄 요약

이 논문은 실체 연결을 통해 외부 지식 기반(예: 위키백과)에서 자동으로 배경 지식을 확보하고 통합함으로써 트윗에서 도덕적 가치 예측을 향상시키는 맥락 인식 프레임워크를 제안한다. 짧고 맥락이 부족한 트윗에 의미적으로 관련된 지식 특징을 통합함으로써, 모델은 단일 인간 평가자 수준의 성능을 달성하며, 이는 계산사회과학 분야에서 암묵적인 심리적 변수 예측에 동적 배경 지식을 사용한 최초의 사례이다.

ABSTRACT

In this paper, we address the problem of detecting expressions of moral values in tweets using content analysis. This is a particularly challenging problem because moral values are often only implicitly signaled in language, and tweets contain little contextual information due to length constraints. To address these obstacles, we present a novel approach to automatically acquire background knowledge from an external knowledge base to enrich input texts and thus improve moral value prediction. By combining basic text features with background knowledge, our overall context-aware framework achieves performance comparable to a single human annotator. To the best of our knowledge, this is the first attempt to incorporate background knowledge for the prediction of implicit psychological variables in the area of computational social science.

연구 동기 및 목표

• 트윗과 같은 짧고 맥락이 부족한 소셜미디어 텍스트에서 암묵적인 도덕적 가치를 탐지하는 데 도전하는 데 목적을 둔다.
• 표면 수준의 텍스트 특징 외의 외부 배경 지식을 통합하여 도덕적 가치 예측의 정확도를 향상시키는 데 목적을 둔다.
• 위키백과와 같은 외부 자료에서의 지식 확보가 NLP 모델의 암묵적인 심리적 특성 탐지에 기여할 수 있는지 탐색하는 데 목적을 둔다.
• 실체 연결과 지식 기반 강화를 일반화된 방법으로 사용하여 계산사회과학 응용 분야에 적용 가능함을 보여주는 것에 목적을 둔다.
• 기타 암묵적 감성 또는 심리적 변수 예측 작업에 적응 가능한 프레임워크를 제공하는 데 목적을 둔다.

제안 방법

• 실체 연결을 적용하여 트윗 내의 명시적 실체를 식별하고 위키백과 항목과 연결함으로써 지식 확보를 수행한다.
• 연결된 실체에서 서술 초록과 속성을 추출하고 처리하여 다섯 가지 도덕 기초(Care/Harm, Fairness/Cheating, Loyalty/Betrayal, Authority/Subversion, Purity/Degradation) 각각과 높은 상관관계를 가지는 용어를 식별한다.
• 상관관계가 높은 용어는 표준 텍스트 특징(예: n-gram, 단어 임베딩) 외에 추가로 구분 특징으로 사용되어 다중 레이블 분류 모델에 통합된다.
• 품사 태깅과 의존성 파싱을 사용하여 실체 연결 및 특징 추출의 정확도를 향상시킨다.
• 감정 분류 모델은 텍스트 특징과 지식 유도 특징을 통합하여 도덕적 가치 표현을 예측한다.
• 초기에는 관련 실체 및 속성 유형을 수동으로 선택하였으며, 향후 연구에서는 자동 특징 선택 방법을 고려할 예정이다.

실험 결과

연구 질문

• RQ1 외부 지식 기반에서 확보한 배경 지식이 짧은 소셜미디어 텍스트에서 암묵적인 도덕적 가치 탐지에 기여하는가?
• RQ2 실체 연결과 지식 기반 강화를 조합한 모델이 텍스트 전용 모델 대비 도덕적 가치 예측 성능 향상에 얼마나 효과적인가?
• RQ3 실체(예: 웨스트버러Baptist교회)에 대한 지식이 도덕적 가치 추론의 모호성을 얼마나 잘 해결할 수 있는가?
• RQ4 어떤 유형의 지식 특징(예: 실체 속성, 서술)이 특정 도덕 기초에 대해 가장 예측 가능성이 높은가?
• RQ5 배경 지식 통합이 인간 평가자와 비교해 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 프레임워크는 트윗에서 도덕적 가치를 예측하는 데 단일 인간 평가자 수준의 성능을 달성한다.
• 표면 수준의 텍스트 특징에만 의존하는 모델에 비해 배경 지식 통합이 예측 정확도 향상에 상당한 기여를 한다.
• 실체 연결을 통해 모델은 도덕적 참조가 암묵적인 경우에도 실체와 관련된 도덕적 가치를 추론할 수 있다. 예를 들어 '웨스트버러Baptist교회'의 도덕적 함의를 인식할 수 있다.
• 위키백과 서술 및 속성에서 유도된 지식 특징 통합은 모델이 미묘하고 맥락에 따라 달라지는 도덕 신호를 탐지하는 능력을 향상시킨다.
• 도전 과제가 있음에도 불구하고, 외부 지식가 짧은 텍스트(예: 트윗)의 맥락 부족을 효과적으로 보완할 수 있음을 입증한다.
• 실체의 의미 해소 및 지식의 관련성에 대한 한계를 특정하며, 지식 기반에 정적 또는 지나치게 일반적인 사실이 포함되어 있어 트윗의 맥락과 일치하지 않을 경우 문제가 발생할 수 있음을 밝혔다.