[논문 리뷰] Evaluating Word Embeddings for Sentence Boundary Detection in Speech Transcripts

Marcos Treviso, Christopher Shulby외 1명|arXiv (Cornell University)|2017. 08. 15.

Topic Modeling참고 문헌 30인용 수 13

한 줄 요약

이 논문은 인지 기능이 손상된 환자들에서의 말하기 전사본에서 문장 경계 검출(SBD)을 위해 워드 임베딩 모델—Word2vec, FastText, Wang2vec—을 평가한다. 다양한 차원(50–600)의 임베딩을 사용한 순환 컬러널 신경망(RCNN)을 통해, 인지 기능이 그대로인 환자군에서는 Word2vec(Skip-gram, 600D)가 F1 점수 0.76으로 가장 높은 성능을 보였고, 경도 인지 장애(MCI) 환자군에서는 Wang2vec(Skip-gram, 600D)가 F1=0.74로 가장 뛰어났으며, 알츠하이머병(AD) 환자군에서는 F1=0.66로 가장 높은 성능을 기록했다. 이는 일부 경우에서 프로소딕 특징을 사용한 최신 기술 모델을 능가하는 결과를 보였다.

ABSTRACT

This paper is motivated by the automation of neuropsychological tests involving discourse analysis in the retellings of narratives by patients with potential cognitive impairment. In this scenario the task of sentence boundary detection in speech transcripts is important as discourse analysis involves the application of Natural Language Processing tools, such as taggers and parsers, which depend on the sentence as a processing unit. Our aim in this paper is to verify which embedding induction method works best for the sentence boundary detection task, specifically whether it be those which were proposed to capture semantic, syntactic or morphological similarities.

연구 동기 및 목표

• 말 전사본에서 문장 경계 검출(SBD)에 가장 적합한 워드 임베딩 방법—의미적(Word2vec), 문법적(Wang2vec), 형태적(FastText)—을 평가하기 위해.
• 임베딩 차원(50, 100, 300, 600)과 학습 전략(CBOW, Skip-gram)이 SBD 성능에 미치는 영향을 평가하기 위해.
• 텍스트적 단서만으로도 프로소딕 특징을 함께 사용한 최신 기술 모델과 비교할 만큼의 성능을 달성할 수 있는지 확인하기 위해.
• 자발적/손상된 말(CTL, MCI, AD)과 준비된 말(Constitution 데이터셋) 간의 성능 차이를 조사하기 위해.
• 임베딩 기반 모델이 인지 장애 환자에서 흔히 발생하는 불순성과 OOV(등장어 외 단어)를 효과적으로 다룰 수 있는지 평가하기 위해.

제안 방법

• 문장 경계 검출을 위한 분류 모델로 순환 컬러널 신경망(RCNN)을 사용하였으며, 교차 엔트로피 손실과 RMSProp 최적화를 적용하였다.
• 임베딩은 Word2vec(Skip-gram 및 CBOW), FastText(CBOW), Wang2vec(Skip-gram)를 사용하여 50에서 600까지 다양한 차원으로 학습하였다.
• 모델은 5겹 교차 검증을 통해 학습되었으며, 클래스 불균형 문제를 해결하기 위해 소수 클래스 오류에 더 높은 가중치를 적용한 가중 손실 함수를 사용하였다.
• 텍스트 전처리에는 정규화, 특수 문자 제거, 토큰화가 포함되었으며, 구두점이나 대문자 표기법은 분할에 사용되지 않았다.
• 성능 평가는 F1 점수를 기준으로 하였으며, 결과는 환자군(CTL, MCI, AD) 및 Constitution 데이터셋(준비된 말) 별로 보고되었다.
• 이 연구는 텍스트 표현만을 사용한 임베딩 중심 모델의 성능을, 이전 연구에서 텍스트 및 프로소딕 특징을 모두 사용한 모델과 비교하여, 텍스트 표현의 기여도를 부각시켰다.

실험 결과

연구 질문

• RQ1 의미적(Word2vec), 문법적(Wang2vec), 형태적(FastText) 중 어떤 워드 임베딩 방법이 말 전사본에서 문장 경계 검출에 가장 높은 F1 점수를 낼 수 있는가?
• RQ2 학습 전략(Skip-gram 대비 CBOW)의 선택이 다양한 임베딩 모델에서 SBD 성능에 어떻게 영향을 미치는가?
• RQ3 임베딩 차원을 50에서 600까지 증가시키는 것이 다양한 말 유형에서 SBD 성능을 일관되게 향상시키는가?
• RQ4 임베딩 중심 모델만으로도 텍스트 및 프로소딕 특징을 모두 사용한 최신 기술 모델과 유사한 성능을 달성할 수 있는가?
• RQ5 자발적/손상된 말(CTL, MCI, AD)과 준비된 말(Constitution) 간의 성능 차이는 어떻게 달라지는가?

주요 결과

• 인지 기능이 그대로인(CTL) 환자군에서 Word2vec(Skip-gram, 600D)가 가장 높은 F1 점수 0.76를 기록하였다.
• 경도 인지 장애(MCI) 환자군에서는 Wang2vec(Skip-gram, 600D)가 가장 뛰어난 성능을 보이며 F1 점수 0.74를 기록하였다.
• 알츠하이머병(AD) 전사본에서는 Word2vec(CBOW, 300D)가 F1 점수 0.66으로 가장 높은 성능을 보였다.
• Constitution 데이터셋(준비된 말)에서는 Wang2vec(Skip-gram, 300D)가 F1 점수 0.62로 가장 높은 성능을 기록하였다.
• 일반적으로 임베딩 차원이 증가할수록 성능이 향상되었으며, 대부분의 모델과 환자군에서 600D 벡터가 가장 우수한 결과를 보였다.
• 임베딩 중심 모델은 CTL 및 MCI 환자군에서 최신 기술 모델(텍스트 및 프로소딕 특징 사용)과 비교해 F1 점수 차이 1% 이내로 유사한 성능을 기록했으나, Constitution 데이터셋에서는 성능 격차가 17%로 더 커져 낮은 성능을 보였다.