[논문 리뷰] What did you Mention? A Large Scale Mention Detection Benchmark for Spoken and Written Text

Yosi Mass, Lili Kotlerman외 4명|arXiv (Cornell University)|2018. 01. 23.

Topic Modeling참고 문헌 8인용 수 5

한 줄 요약

이 논문은 위키백과 및 노이지어스 음성 데이터에서 이름이 붙은 실체와 일반 실체를 모두 포함한 문장 검출을 위한 대규모 고품질 벤치마크를 소개한다. 엄격한 지침을 따르는 제어된 컬러소싱 과정을 통해 구축되었으며, 각 데이터셋에 약 6,500개의 언급이 포함되어 있으며, 최신 시스템인 TagMe는 청소된 텍스트에서 F1 스코어 0.552, ASR로 생성된 음성에서 0.478를 기록하여 노이지어스 도메인에서 일반 실체 검출의 과제를 드러낸다.

ABSTRACT

We describe a large, high-quality benchmark for the evaluation of Mention Detection tools. The benchmark contains annotations of both named entities as well as other types of entities, annotated on different types of text, ranging from clean text taken from Wikipedia, to noisy spoken data. The benchmark was built through a highly controlled crowd sourcing process to ensure its quality. We describe the benchmark, the process and the guidelines that were used to build it. We then demonstrate the results of a state-of-the-art system running on that benchmark.

연구 동기 및 목표

• 다양한 텍스트 유형에서 named 및 general 실체를 모두 포함하는 종합적인 mention detection 벤치마크의 부족을 해결하기 위해.
• 청소된 텍스트와 노이지어스 음성 데이터 모두에서 mention detection 도구 평가를 위한 고품질이고 확장 가능한 벤치마크를 개발하기 위해.
• general entity detection에서 중첩된 언급과 실체의 구체성 처리를 위한 명확하고 일관된 annotation 지침을 수립하기 위해.
• 문서 전체에서 언급의 완전한 커버리지가 필요한 시스템의 평가를 가능하게 하기 위해, 첫 번째 발생지점만이 아니라 전체 문서의 언급을 포함하기 위해.
• 강력하고 다양한 훈련 및 평가 데이터를 통해 NLP 응용 프로그램의 깊은 의미 이해 능력을 지원하기 위해.

제안 방법

• 벤치마크는 이중 단계의 컬러소싱 과정을 통해 구축되었다: 첫 번째 단계에서 문장당 10명의 레이블러가 개방형 언급 검출을 수행하였고, 두 번째 단계에서 레이블러들이 공통된 후보 목록에서 검출된 언급을 확인 또는 거부하였다.
• 총 1,000개 문장이 위키백과(위키)에서, 1,000개는 수동으로 음성 전사된 데이터(전사)에서, 1,000개는 자동 음성 인식(ASR) 출력(ASR)에서 각각 추출되어 별도의 데이터셋으로 구성되었다.
• nested 언급, 실체의 구체성, 일반 실체 유형의 처리를 표준화하기 위해 명확한 annotation 지침을 정의하였으며, 이는 레이블러 간 일관성을 확보하였다.
• 인터-annotator agreement 는 가중 카파를 사용하여 측정되었으며, 위키와 전사에서 각각 검출 작업에 대해 0.30과 0.34, 확인 작업에 대해 0.47과 0.54를 기록하여 벤치마크의 품질과 커버리지가 검증되었다.
• 재현 가능한 mention detection 시스템 평가를 지원하기 위해 벤치마크를 공개적으로 배포하였다.
• 최신 시스템인 TagMe는 벤치마크 지침에 맞게 중첩된 언급을 피하고 더 긴 어구를 우선시하도록 설정된 후 벤치마크에서 평가되었다.

실험 결과

연구 질문

• RQ1 written 및 spoken 텍스트에서 named 및 general 실체를 모두 포함하는 대규모 고품질 mention detection 벤치마크를 어떻게 구축할 수 있는가?
• RQ2 general 실체 annotation에서 특히 중첩성과 구체성과 관련된 주요 과제는 무엇이며, 어떻게 일관되게 해결할 수 있는가?
• RQ3 최신 mention detection 시스템의 성능은 청소된 텍스트(위키백과)와 노이지어스 음성 데이터(ASR 및 전사된 음성) 간에 어떻게 다를까?
• RQ4 문서 전체에서 언급을 완전히 커버하는 것이 텍스트 유사도와 같은 NLP 작업에서 의미 이해 능력을 얼마나 향상시키는가?
• RQ5 general entity detection과 커버리지에 중점을 두는 벤치마크에서, 단순한 룰 기반 또는 검색 기반 시스템이 복잡한 신경망 모델보다 성능이 뛰어날 수 있는가?

주요 결과

• 벤치마크는 위키백과 문장 1,000개와 전사된 음성 및 ASR 음성 데이터 문장 각 1,000개로 구성되어 있으며, 각 데이터셋에 약 6,500개의 언급이 포함되어 있으며, ASR 및 전사 데이터셋에서 named entity는 단 84개 뿐이었다.
• 문장당 평균 언급 수는 6.2개로, 동일한 언급이 여러 번 반복되는 등 텍스트 전반에 걸쳐 실체가 고도로 커버링되어 있음을 나타낸다.
• 검출 작업에 대한 인터-annotator agreement 는 중간 수준이었으며(위키에서 카파 = 0.30, 전사에서 0.34), 이는 작업의 개방형 성격을 반영한다. 반면 확인 작업의 agreement 는 높았으며(위키에서 카파 = 0.47, 전사에서 0.54), 이는 고품질의 골드 스탠다드 구축이 이루어졌음을 시사한다.
• TagMe는 위키 테스트 세트에서 F1 스코어 0.552, 전사된 음성 세트에서 0.494, ASR로 생성된 음성 세트에서 0.478를 기록하여 노이즈 수준이 높아질수록 성능 저하가 발생하는 것을 보였다.
• 벤치마크는 일반 실체가 언급의 대부분을 차지함(90% 이상)함을 드러내며, 평가 및 시스템 설계에 일반 실체를 포함시키는 것이 중요함을 강조한다.
• 결과는 현재 최신 시스템이 노이지어스 음성 데이터에서 일반 실체 검출에 더 어려움을 겪고 있음을 시사하며, 현재 NLP 평가 및 개발에서의 주요 격차를 드러낸다.