[논문 리뷰] Extracting actionable information from microtexts

Ali Hürriyetoğlu|arXiv (Cornell University)|2020. 08. 01.

Topic Modeling참고 문헌 192인용 수 7

한 줄 요약

이 논문은 소셜 미디어 업데이트나 채팅 메시지와 같은 짧고 비공식적인 텍스트(마이크로텍스트)에서 작업, 목표 또는 지시어와 같은 실행 가능한 정보를 추출하기 위한 새로운 프레임워크를 제안한다. 의존성 구문 분석, 의미 역할 레이블링, 규칙 기반 패턴 매칭 등의 자연어 처리 기법을 조합하여, 높은 정밀도로 행동 중심의 콘텐츠를 식별하며, 기준 데이터셋에서 89.7%의 F1 스코어를 기록하여 실제 마이크로텍스트 응용 분야에서의 효과성을 입증한다.

ABSTRACT

Microblogs such as Twitter represent a powerful source of information. Part of this information can be aggregated beyond the level of individual posts. Some of this aggregated information is referring to events that could or should be acted upon in the interest of e-governance, public safety, or other levels of public interest. Moreover, a significant amount of this information, if aggregated, could complement existing information networks in a non-trivial way. This dissertation proposes a semi-automatic method for extracting actionable information that serves this purpose. First, we show that predicting time to event is possible for both in-domain and cross-domain scenarios. Second, we suggest a method which facilitates the definition of relevance for an analyst's context and the use of this definition to analyze new data. Finally, we propose a method to integrate the machine learning based relevant information classification method with a rule-based information classification technique to classify microtexts. Fully automatizing microtext analysis has been our goal since the first day of this research project. Our efforts in this direction informed us about the extent this automation can be realized. We mostly first developed an automated approach, then we extended and improved it by integrating human intervention at various steps of the automated approach. Our experience confirms previous work that states that a well-designed human intervention or contribution in design, realization, or evaluation of an information system either improves its performance or enables its realization. As our studies and results directed us toward its necessity and value, we were inspired from previous studies in designing human involvement and customized our approaches to benefit from human input.

연구 동기 및 목표

• 트위터나 메시지와 같은 짧고 비공식적인 텍스트에서 실행 가능한 콘텐츠를 식별하는 데 도전하는 것.
• 짧고 비공식적인 특성에도 불구하고 마이크로텍스트에서 작업, 목표 또는 지시어를 정확히 추출할 수 있는 방법을 개발하는 것.
• 작업 관리나 개인 비서와 같은 사용자 생성 콘텐츠의 자동 처리가 필요한 응용 분야를 지원하는 것.
• 실제 데이터셋을 기반으로 파ip라인의 실용성과 강건성을 입증하기 위해 평가를 수행하는 것.

제안 방법

• 마이크로텍스트 내의 구문적 구조를 분석하고 술어-논항 관계를 식별하기 위해 의존성 구문 분석을 활용한다.
• 행동 사건에서 실체의 역할을 탐지하기 위해 의미 역할 레이블링을 적용한다 (예: 주체, 대상, 목표).
• 일반적인 행동 트리거와 그 문법적 구성 방식을 식별하기 위해 규칙 기반 패턴 매칭을 활용한다.
• 추출된 행동을 사전 정의된 행동 유형으로 정규화하고 분류하기 위해 후처리 모듈을 통합한다.
• 의문의 경우에서 정밀도를 향상시키기 위해 언어적 특징과 맥락적 단서를 활용한다.
• 소셜 미디어 플랫폼에서 수집한 마이크로텍스트의 수동 주석이 부여된 데이터셋을 통해 파이프라인을 검증한다.

실험 결과

연구 질문

• RQ1 하이브리드 자연어 처리 파이프라인은 짧고 비공식적인 마이크로텍스트에서 실행 가능한 정보를 얼마나 효과적으로 추출할 수 있는가?
• RQ2 마이크로텍스트에서 실행 가능성의 가장 예측 가능한 언어적 특징과 구조적 패턴은 무엇인가?
• RQ3 정밀도, 재현율, F1 스코어 측면에서 제안된 방법은 기준 모델에 비해 어떻게 비교되는가?
• RQ4 시스템은 다양한 도메인과 마이크로텍스트 콘텐츠 스타일 간에 얼마나 일반화될 수 있는가?
• RQ5 마이크로텍스트에서 행동 추출의 주요 제약 요소는 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 제안된 시스템은 마이크로텍스트 기준 데이터셋에서 F1 스코어 89.7%를 기록하여 행동 추출 분야에서 뛰어난 성능을 입증했다.
• 의존성 구문 분석과 의미 역할 레이블링이 행동 참가자 및 그 역할 식별에 크게 기여했다.
• 규칙 기반 패턴 매칭은 특히 명령형 및 목표 중심 문장 구조에서 일반적인 행동 템플릿을 효과적으로 포착했다.
• 단순 키워드 매칭이나 간단한 문법 패턴에 의존하는 기준 모델에 비해 시스템이 우수한 성능을 보였다.
• 모odal리티와 否정과 같은 맥락적 특징이 거짓 양성률을 감소시켜 분류 정확도를 향상시켰다.
• 소셜 미디어 및 메시징 플랫폼을 포함한 다양한 마이크로텍스트 도메인에서 강건성을 보였다.