[論文レビュー] Text segmentation with character-level text embeddings

Grzegorz Chrupała|arXiv (Cornell University)|Sep 18, 2013

Natural Language Processing Techniques被引用数 22

ひとこと要約

本稿では、生のテキストシーケンスにおける次の文字を予測するように訓練された単純な再帰的ネットワーク（SRN）を用いて、文字レベルのテキスト埋め込みを学習する手法を提案する。学習された隠れ層の表現は、文字レベルのテキストセグメンテーションおよびコードブロックラベル付けにおいて顕著に性能を向上させ、ベースラインのn-gram特徴量を上回り、学習データ量を4倍した場合と同等の結果を達成する。

ABSTRACT

Learning word representations has recently seen much success in computational linguistics. However, assuming sequences of word tokens as input to linguistic analysis is often unjustified. For many languages word segmentation is a non-trivial task and naturally occurring text is sometimes a mixture of natural language strings and other character data. We propose to learn text representations directly from raw character sequences by training a Simple recurrent Network to predict the next character in text. The network uses its hidden layer to evolve abstract representations of the character sequences it sees. To demonstrate the usefulness of the learned text embeddings, we use them as features in a supervised character level text segmentation and labeling task: recognizing spans of text containing programming language code. By using the embeddings as features we are able to substantially improve over a baseline which uses only surface character n-grams.

研究の動機と目的

• フォーラム投稿など、混合言語またはコードを含むテキストにおける単語ベース表現の限界を解決すること。
• 事前に定義された単語分割に依存せずに、生の文字シーケンスから汎用的なテキスト表現を直接学習する手法を開発すること。
• SRNから得られる文字レベルの埋め込みが、教師あり文字レベルシーケンスラベリングタスクの性能を向上させるかどうかを評価すること。
• このような埋め込みが、自然言語やプログラミングコードを含む多様なテキストタイプに一般化できるかどうかを調査すること。

提案手法

• 大規模な未ラベル付きテキストで単純な再帰的ネットワーク（SRN）を訓練し、シーケンス内の次の文字を予測する。
• 訓練済みSRNの隠れ層活性化を、後続タスク用の密度的かつ分散表現のテキスト埋め込みとして使用する。
• 各文字シーケンスを、シーケンス処理後のSRNの最終隠れ状態から得られる固定長ベクトルとして表現する。
• これらの学習済み埋め込みを、シーケンスラベリング用の条件付きランダムフィールド（CRF）モデルへの追加特徴量として使用する。
• CRFを、文字n-gramとSRN由来の埋め込みの組み合わせで訓練し、混合テキスト投稿におけるコードブロックを検出する。
• プログラミングフォーラム投稿にラベルが付与された実世界のデータセットを用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 SRNを用いて学習した文字レベルのテキスト埋め込みは、教師ありテキストセグメンテーションタスクの性能を向上させることができるか？
• RQ2 混合言語テキストにおけるコードブロック検出において、SRN由来の埋め込みは従来の文字n-gram特徴量と比べて優れているか？
• RQ3 SRNを事前学習する際に使用する未ラベル付き学習データのサイズが、後続タスクの性能に顕著に影響を与えるか？
• RQ4 SRN埋め込みは、明示的な分割なしに、自然言語やプログラミングコードなど異なるテキストタイプに一般化できるか？

主な発見

• CRFモデルにSRN由来の文字レベル埋め込みを追加した結果、最終テストセットのF1スコアはベースラインの86.45％から90.95％に向上した。
• SRN特徴量による性能向上は、ベースラインモデルで学習データ量を4倍した場合と同等の効果を示した。
• 小規模な未ラベル付きデータ（全データの10％）で訓練したSRNモデルですでに大規模モデルと同等の性能を達成しており、利益はデータスケールではなく特徴表現力に起因していることが示された。
• より大きなデータセット（全データの100％）で訓練したモデルは、F1スコア（90.95％ vs. 90.75％）と周囲度（4.11 vs. 4.24）の向上がわずかであり、概念の変化（concept drift）のため、追加データによる利点は限定的であることが示唆された。
• 小規模データからでもSRN埋め込みが良好に機能したため、膨大な計算リソースを要せず、高品質な表現を効率的に学習可能であることが示された。