[論文レビュー] Evaluating Word Embeddings for Sentence Boundary Detection in Speech Transcripts

Marcos Treviso, Christopher Shulby+1 more|arXiv (Cornell University)|Aug 15, 2017

Topic Modeling参考文献 30被引用数 13

ひとこと要約

この論文は、認知症の兆候がある患者から得られる話者の発話トランスクリプトにおける文境界検出（SBD）のため、単語埋め込みモデル（Word2vec、FastText、Wang2vec）を評価している。次世代の再帰的畳み込みニューラルネットワーク（RCNN）を用い、50〜600次元の異なる次元の埋め込みを用いて、認知機能が正常な患者ではWord2vec（Skip-gram、600D）が最高のF1スコア（0.76）を達成した。一方、軽度認知障害（MCI）の患者ではWang2vec（Skip-gram、600D）が最良の性能（F1=0.74）を示し、アルツハイマー病（AD）の患者ではF1=0.66を記録した。これらの結果は、一部のケースでプロソディック特徴を用いた最先端のモデルを上回った。

ABSTRACT

This paper is motivated by the automation of neuropsychological tests involving discourse analysis in the retellings of narratives by patients with potential cognitive impairment. In this scenario the task of sentence boundary detection in speech transcripts is important as discourse analysis involves the application of Natural Language Processing tools, such as taggers and parsers, which depend on the sentence as a processing unit. Our aim in this paper is to verify which embedding induction method works best for the sentence boundary detection task, specifically whether it be those which were proposed to capture semantic, syntactic or morphological similarities.

研究の動機と目的

• 話者の発話トランスクリプトにおける文境界検出（SBD）に最も適した単語埋め込み手法（意味的：Word2vec、構文的：Wang2vec、形態的：FastText）を特定すること。
• 埋め込み次元（50、100、300、600）および学習戦略（CBOW、Skip-gram）がSBD性能に与える影響を評価すること。
• テキスト的特徴（語彙的手がかり）のみを用いた埋め込みモデルが、プロソディック特徴を併用する最先端のモデルと同等の性能を達成できるかどうかを検証すること。
• 発話タイプ（自然発話／障害あり発話：CTL、MCI、AD）と準備済み発話（Constitutionデータセット）の間で性能に差が生じるかを調査すること。
• 障害あり発話に一般的に見られる不順応や未知語（OOV）を効果的に処理できるかどうか、埋め込みベースのモデルの有効性を評価すること。

提案手法

• 文境界検出の分類モデルとして再帰的畳み込みニューラルネットワーク（RCNN）を採用し、交差エントロピー損失とRMSProp最適化を用いて学習した。
• 単語埋め込みは、Word2vec（Skip-gramおよびCBOW）、FastText（CBOW）、Wang2vec（Skip-gram）を用い、次元は50から600まで変化させた。
• 5分割交差検証を用いてモデルを学習し、クラス不均衡に対処するため、少数クラスの誤分類に高いペナルティを課す重み付き損失関数を採用した。
• テキスト前処理には正規化、特殊文字の除去、トークン化を実施したが、区切り記号や大文字小文字は分割に使用しなかった。
• 性能評価にはF1スコアを用い、結果は患者グループ（CTL、MCI、AD）およびConstitutionデータセット（準備済み発話）ごとに報告した。
• 本研究では、語彙的特徴のみを用いたモデルの性能を、語彙的およびプロソディック特徴を併用した先行研究と比較し、テキスト表現のみの貢献を強調した。

実験結果

リサーチクエスチョン

• RQ1 意味的（Word2vec）、構文的（Wang2vec）、形態的（FastText）のいずれの単語埋め込み手法が、話者の発話トランスクリプトにおける文境界検出で最高のF1スコアを達成するか？
• RQ2 学習戦略（Skip-gram対CBOW）の選択が、異なる埋め込みモデルにおけるSBD性能にどのように影響するか？
• RQ3 埋め込み次元（50から600に増加）を増やすことで、SBD性能が一貫して向上するか？
• RQ4 埋め込みのみのモデルが、語彙的およびプロソディック特徴を併用する最先端のモデルと同等の性能を達成できるか？
• RQ5 自然発話／障害あり発話（CTL、MCI、AD）と準備済み発話（Constitution）の間で、性能差はどのように変化するか？

主な発見

• 認知機能が正常な（CTL）患者群では、Word2vec（Skip-gram、600次元）が最高のF1スコア0.76を記録した。
• 軽度認知障害（MCI）患者では、Wang2vec（Skip-gram、600次元）が最良の性能を示し、F1スコアは0.74であった。
• アルツハイマー病（AD）のトランスクリプトでは、Word2vec（CBOW、300次元）が最高のF1スコア0.66を達成した。
• Constitutionデータセット（準備済み発話）では、Wang2vec（Skip-gram、300次元）が最高のF1スコア0.62を記録した。
• 一般的に、埋め込み次元が高くなるほど性能が向上し、600次元のベクトルが大多数のモデルおよび患者群で最良の結果をもたらした。
• 埋め込みのみのモデルは、CTLおよびMCI群では最先端のモデル（語彙的およびプロソディック特徴を併用）と同等の性能（F1スコア差1%未満）を達成したが、Constitutionデータセットでは性能が低く（F1スコア差17%）、劣っていた。