[논문 리뷰] Towards building a knowledge base of monetary transactions from a news collection

Jan R. Benetka, Krisztian Balog외 1명|arXiv (Cornell University)|2017. 06. 19.

Topic Modeling참고 문헌 28인용 수 5

한 줄 요약

이 논문은 뉴스 기사에서 통화 거래 이벤트를 추출하고 통합하여 유일한 퀠터플렛 표현(엔티티, 동작, 금액, 통화, 시간)으로 정리하는 지도 학습 접근법을 제안한다. 이는 이벤트 속성들을 동시에 모델링함으로써 정확도를 향상시킨다. 동일한 이벤트의 모든 보고를 집계하고 신뢰도 점수를 통해 순위를 매기며, 목적에 맞게 구성된 테스트 세트를 사용함으로써, 단일 보고에 의존하는 기존 방법 대비 F1 점수를 25% 향상시킨다.

ABSTRACT

We address the problem of extracting structured representations of economic events from a large corpus of news articles, using a combination of natural language processing and machine learning techniques. The developed techniques allow for semi-automatic population of a financial knowledge base, which, in turn, may be used to support a range of data mining and exploration tasks. The key challenge we face in this domain is that the same event is often reported multiple times, with varying correctness of details. We address this challenge by first collecting all information pertinent to a given event from the entire corpus, then considering all possible representations of the event, and finally, using a supervised learning method, to rank these representations by the associated confidence scores. A main innovative element of our approach is that it jointly extracts and stores all attributes of the event as a single representation (quintuple). Using a purpose-built test set we demonstrate that our supervised learning approach can achieve 25% improvement in F1-score over baseline methods that consider the earliest, the latest or the most frequent reporting of the event.

연구 동기 및 목표

• 뉴스 기사 간 경제 이벤트 보고의 일관성 부족 및 중복 문제를 해결하기 위해.
• 구조화되고 정확한 이벤트 표현으로 금융 지식 기반을 반자동으로 구축하기 위한 방법을 개발하기 위해.
• 모든 속성(엔티티, 동작, 금액, 통화, 시간)을 하나의 퀄터플렛 표현으로 동시에 모델링하여 이벤트 추출 정확도를 향상시키기 위해.
• 다중 보고를 집계하고 신뢰도 점수를 사용해 순위를 매김으로써 이벤트 데이터의 노이즈와 일관성 없는 요소를 줄이기 위해.
• 기존의 단일 보고 기반 기준 대비 성능 향상을 입증하기 위해 목적에 맞게 구성된 테스트 세트에서 방법을 평가하기 위해.

제안 방법

• 대규모 뉴스 코퍼스에서 특정 경제 이벤트의 모든 보고를 수집하여 후보 표현의 포괄적인 세트를 구성하기 위해.
• 각 이벤트를 퀄터플렛 (엔티티, 동작, 금액, 통화, 시간)으로 표현하여 핵심 속성을 하나의 구조화된 단위로 포괄하기 위해.
• 언어적 및 맥락적 특징에서 유도된 신뢰도 점수를 기반으로 후보 이벤트 표현을 순위 매길 수 있는 지도 학습 모델을 적용하기 위해.
• 기준 비교를 위해 조합 전략(예: 최초 보고, 최신 보고, 빈도가 가장 높은 보고)을 활용하기 위해.
• F1 점수 향상 정도를 측정하기 위해 목적에 맞게 구성된 테스트 세트에서 모델을 훈련하고 평가하기 위해.
• 다양한 언어적 표현 간 속성 식별 및 정규화를 위해 자연어 처리 및 기계 학습 기법을 활용하기 위해.

실험 결과

연구 질문

• RQ1 모든 이벤트 속성을 하나의 퀄터플렛 표현으로 동시에 모델링하면, 뉴스에서 금융 거래 이벤트 추출 정확도가 향상되는가?
• RQ2 동일한 이벤트의 다중 보고를 집계하면 추출된 이벤트 표현의 신뢰성에 어떤 영향을 미치는가?
• RQ3 단일 보고 선택 전략(최초, 최신, 빈도 높은 보고)에 비해 지도 학습 모델이 F1 점수 향상에 얼마나 기여하는가?
• RQ4 신뢰도 점수는 다중 보고 중 가장 정확한 이벤트 표현을 선택하는 데 어떤 영향을 미치는가?
• RQ5 제안된 방법은 금융 지식 기반 구축 시 일관성과 오류를 얼마나 효과적으로 줄이는가?

주요 결과

• 제안된 방법은 이벤트의 최초, 최신, 또는 빈도가 가장 높은 보고를 선택하는 기존 방법 대비 F1 점수에서 25% 향상된 성능을 기록했다.
• 모든 이벤트 속성을 하나의 퀄터플렛 표현으로 동시에 모델링함으로써, 개별 속성 추출보다 더 일관되고 정확한 추출이 가능했다.
• 동일한 이벤트의 다중 보고를 집계하고 신뢰도 점수 기반 순위 매기기를 통해 최종 지식 기반 항목의 노이즈와 일관성 없는 요소를 크게 감소시켰다.
• 지도 학습 모델이 이벤트 보고의 언어적 다양성을 효과적으로 포착하여 다양한 뉴스 텍스트에서의 강건성을 향상시켰다.
• 목적에 맞게 구성된 테스트 세트에서 높은 성능을 보이며, 실제 뉴스 코퍼스 환경에서의 효과성을 입증했다.
• 결과적으로, 다중 보고 표현의 신뢰도 기반 순위 매기기가 금융 이벤트 추출에서 단일 보고 선택 전략보다 우수한 성능을 내는 것으로 나타났다.