[論文レビュー] Sentence Boundary Detection for French with Subword-Level Information Vectors and Convolutional Neural Networks

Carlos-Emiliano González-Gallardo, Juan‐Manuel Torres‐Moreno|arXiv (Cornell University)|Feb 13, 2018

Natural Language Processing Techniques参考文献 13被引用数 12

ひとこと要約

本稿では、フランス語テキストにおける文境界検出（SBD）のための、子音素レベル情報（SLI）ベクトルで拡張された畳み込みニューラルネットワーク（CNN）モデルを提案する。単語を文字n-gramの和として表現することで、SLIベクトルは語彙的構造を捉え、テキスト列に対してCNN（画像ピクセルのように扱う）を効果的に活用可能にする。最良のモデルは、『文境界』クラスでF1スコア0.795、『文境界でない』クラスで0.97を超える性能を示し、大規模なフランス語Gigawordデータセット上で全体の正解率は0.96を上回った。

ABSTRACT

In this work we tackle the problem of sentence boundary detection applied to French as a binary classification task ("sentence boundary" or "not sentence boundary"). We combine convolutional neural networks with subword-level information vectors, which are word embedding representations learned from Wikipedia that take advantage of the words morphology; so each word is represented as a bag of their character n-grams. We decide to use a big written dataset (French Gigaword) instead of standard size transcriptions to train and evaluate the proposed architectures with the intention of using the trained models in posterior real life ASR transcriptions. Three different architectures are tested showing similar results; general accuracy for all models overpasses 0.96. All three models have good F1 scores reaching values over 0.97 regarding the "not sentence boundary" class. However, the "sentence boundary" class reflects lower scores decreasing the F1 metric to 0.778 for one of the models. Using subword-level information vectors seem to be very effective leading to conclude that the morphology of words encoded in the embeddings representations behave like pixels in an image making feasible the use of convolutional neural network architectures.

研究の動機と目的

• 自動音声認識（ASR）の出力では文法的構造が欠落しているため、そのような出力における文境界検出（SBD）の課題に対処すること。
• 語彙的構造をエンコードする子音素レベル情報ベクトル（SLI）を活用することで、フランス語におけるSBDの性能を向上させること。
• より良い一般化を図るため、フランス語Gigawordという大規模な書記テキストコーパス上でモデルを学習・評価すること。
• フランス語のような低リソース言語や語彙的に豊富な言語において、CNNとSLIベクトルを組み合わせた手法が序列ラベル付けタスクに有効であることを示すこと。
• ASR出力向けの下流NLPタスクに再利用可能な高精度なモデルを提供すること。

提案手法

• 子音素レベル情報（SLI）ベクトルを用いて、単語をその文字n-gram埋め込みの和として表現する。これらの埋め込みは、Wikipedia上で学習されたfastTextによって得られる。
• m個の単語から成る文脈窓が、1次元畳み込みニューラルネットワーク（CNN）に供給され、各単語は300次元のSLIベクトルで表現される。
• 入力を2次元行列（m × 300）として扱い、画像と同様に畳み込みフィルタをシーケンス全体に共有することで、CNNの適用を可能にする。
• 『文境界』対『文境界でない』という二値分類を目的とした、3種類の異なるCNNアーキテクチャ（CNN-A、CNN-B、CNN-C）をエンドツーエンドで学習する。
• 正規化後、XMLタグの削除、ハイフンの除去、句読点の<SEG>トークンへの置換を含む処理を経て、フランス語Gigaword（GW_afp）データセット上でモデルを学習する。
• クラスの不均衡に対処する重点を置き、正解率、適合率、再現率、F1スコア（各クラスごと）を用いてモデルの性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 語彙的に豊富な言語（例：フランス語）において、子音素レベル情報ベクトルは文境界検出の性能向上に寄与するか？
• RQ2 単語埋め込みを画像ピクセルのように扱う2次元行列として表現されたテキストシーケンスに、畳み込みニューラルネットワークを適用した場合、その有効性はいかほどか？
• RQ3 大規模な書記コーパス（例：フランス語Gigaword）で学習したモデルは、小規模で手動でトランスクリプトされたデータセットよりも、下流のASR出力におけるSBDタスクに優れた一般化性能を示すか？
• RQ4 異なるCNNアーキテクチャは、SLIベクトルを用いたSBDタスクにおいて、クラス不均衡の処理をどのように果たすか？
• RQ5 学習済みモデルは、ニュースやレポートなど実世界のASR出力におけるSBDタスクに効果的に再利用可能か？

主な発見

• 最良の性能を示したモデル、CNN-Bは、『文境界』クラスでF1スコア0.795、『文境界でない』クラスで0.980を達成した。
• 3つのモデルすべてが全体の正解率0.96以上を達成し、特にCNN-Bは0.965に達した。
• 『文境界でない』クラスは一貫してF1スコア0.97以上を示しており、多数クラスに対するモデルの優れた性能を示している。
• 『文境界』クラスではF1スコアが0.778〜0.795にとどまり、データの不均衡とレアな境界の検出困難さが原因で低く抑えられている。
• すべてのモデルで学習中の交差エントロピー損失が0.09未満に収束し、特にCNN-Bは最低の0.080を記録した。これは安定的かつ効果的な最適化を示している。
• SLIベクトルの使用により、語彙的構造の有効なモデリングが可能となり、CNNが語のサブワード表現から意味のあるパターンを学習できるようになった。