[論文レビュー] Building a Word Segmenter for Sanskrit Overnight

Vikas Reddy, Amrith Krishna+4 more|arXiv (Cornell University)|Feb 8, 2018

Natural Language Processing Techniques参考文献 17被引用数 5

ひとこと要約

本稿では、言語的前処理を一切行わず、砂置（砂置語）化されたテキストを直接区切り形式に変換する知識不要でエンド・ツー・エンドのシーケンス・ツー・シーケンス（seq2seq）ディープラーニングモデルを提案する。平行な砂置／非砂置文のペairで学習させたモデルは、最先端技術を16.79%上回り、文の長さにかかわらず精度と再現率の両面で優れている。また、単一のGPUで12時間未満で学習可能である。

ABSTRACT

There is abundance of digitised texts available in Sanskrit. However, the word segmentation task in such texts are challenging due to the issue of Sandhi. In Sandhi, words in a sentence often fuse together to form a single chunk of text, where the word delimiter vanishes and sounds at the word boundaries undergo transformations, which is also reflected in the written text. Here, we propose an approach that uses a deep sequence to sequence (seq2seq) model that takes only the sandhied string as the input and predicts the unsandhied string. The state of the art models are linguistically involved and have external dependencies for the lexical and morphological analysis of the input. Our model can be trained “overnight” and be used for production. In spite of the knowledge lean approach, our system preforms better than the current state of the art by 16.79 %.

研究の動機と目的

• 砂置によって語の境界が融合し、音声的変化が生じるため、従来の区切り処理が困難となるサンスクリット語の語区切り問題に対処すること。
• 複雑な言語的前処理や外部語彙リソースに依存しない、スケーラブルで低リソースな解決策を開発すること。
• 生産環境向けに、迅速で自動化された学習と推論が可能な、サンスクリット語の語区切りを実現すること。
• データ中心のエンド・ツー・エンドのディープラーニングアプローチを活用し、既存の最先端システムを上回ること。
• 知識不要のモデルが、言語的知識に基づくシステムを上回ることを示すこと。

提案手法

• 入力の砂置シーケンスを出力の非砂置シーケンスにマッピングするため、双方向LSTMエンコーダーとアテンション機構を備えたシーケンス・ツー・シーケンス（seq2seq）モデルが使用される。
• モデルは、正しい区切り形式の条件付き確率を最大化するように、砂置／非砂置の対訳文のペアで学習される。
• SentencePieceを用いて、教師なしのサブワードトークナイザーとして機能させ、学習データから最適化された新しい語彙を学習し、モデルの汎化性能を向上させる。
• デコーダーは、事前に定義された語境界や語彙素性タグに依存せず、学習済み語彙から出力トークンを生成する。
• 学習は12GBメモリ搭載のTitan X GPUで実行され、最良のモデルでは12時間未満で収束する。
• エンコーダー・デコーダー構造にアテンションを組み合わせることで、特に長い文においても入力と出力のシーケンスの整合性を高める。

実験結果

リサーチクエスチョン

• RQ1 純粋にデータ駆動でエンド・ツー・エンドのディープラーニングモデルが、言語的知識に基づくシステムを上回ることができるか？
• RQ2 知識不要のアプローチは、サンスクリットのような低リソースで変形豊富な言語において、どの程度高い性能を達成できるか？
• RQ3 アテンション機構は、長く複雑な砂置文字列における区切り精度をどのように向上させるか？
• RQ4 外部言語的リソースなしで12時間未満で学習可能なモデルが、最先端の性能を達成できるか？
• RQ5 生のテキストペアのみで学習したシステムは、長さや複雑さの異なる文の間で十分に汎化できるか？

主な発見

• アテンションを備えた提案されたseq2seqモデル（attnSegSeq2Seq）は、現在の最先端技術を16.79%相対的に上回る区切り性能を達成した。
• モデルは、特に6語以下の中間長文において、精度と再現率の両面で既存のシステムを上回った。
• 最良のモデルは、Titan X GPU（12GBメモリ）で80エポックを経て11時間40分で学習を完了した。
• 語の頻度や語数ごとのテストセットでの一貫性ある結果から、モデルは文の長さにかかわらず安定した性能を示した。
• 語彙的・語彙的リソースにアクセスできない状況でも、モデルの性能は安定的かつ汎化可能であった。
• 知識不要でデータ中心のアプローチが、広範な言語的前処理や外部依存を必要とするシステムを上回ることを示した。