[論文レビュー] Normalization of Transliterated Words in Code-Mixed Data Using Seq2Seq Model & Levenshtein Distance

Soumil Mandal, Karthick Nanmaran|arXiv (Cornell University)|Jan 1, 2018

Natural Language Processing Techniques参考文献 18被引用数 7

ひとこと要約

本稿では、音声的表記が不規則に混在するベンガル語-英語コードミックス語のテキストを標準化された ITRANS 形式に正規化するため、Levenshtein 距離を組み合わせた二段階の seq2seq モデルを提案する。最初の段階では、LSTM を用いたシーケンス・ツー・シーケンス モデルが初期の音声的正規化を実行し、その後、手作業で整備された ITRANS 辞書との Levenshtein 距離に基づく照合モジュールが適用される。このシステムはテストデータで 90.27% の正確性を達成し、下流の感情分析タスクの性能を 1.5% 向上させた。

ABSTRACT

Building tools for code-mixed data is rapidly gaining popularity in the NLP research community as such data is exponentially rising on social media.Working with code-mixed data contains several challenges, especially due to grammatical inconsistencies and spelling variations in addition to all the previous known challenges for social media scenarios.In this article, we present a novel architecture focusing on normalizing phonetic typing variations, which is commonly seen in code-mixed data.One of the main features of our architecture is that in addition to normalizing, it can also be utilized for back-transliteration and word identification in some cases.Our model achieved an accuracy of 90.27% on the test data.

研究の動機と目的

• 音声的スペルのばらつきが顕著な、SNS テキストにおけるベンガル語-英語コードミックス語の表記問題に対処すること。特に、ローマ字表記による一貫性のない表記が一般的である。
• 非標準的な表記をその標準的 ITRANS 形式にマッピングする正規化システムを開発し、より良い意味的理解と下流の NLP タスクを可能にすること。
• 正規化に加え、バックトランスリタリゼーションと語の同定を可能にする再利用可能なフレームワークを構築し、ネイティブ スクリプト対応ツールと連携すること。
• ノイズの多いコードミックスデータに正規化モジュールを適用することで、既存の NLP システム（例：感情分析）の性能を向上させること。

提案手法

• 二段階のアーキテクチャを採用：まず、文字レベルの seq2seq モデル（LSTM エンコーダーとデコーダーを備える）が、入力の表記を標準形に近づける正規化を実行する。
• seq2seq モデルは、音声的に異なる表記とその ITRANS 標準形をペアにした並列辞書（PL）を 6,000 項目で学習する。
• 第二段階では、Levenshtein 距離を用いて第一段階の出力を、より大きな ITRANS 辞書（BN TRANS、21,850 項目）と照合し、最も類似する語を特定する。
• 特定の音声的置換（例：'a'/'o'、'b'/'v'）を同等とみなすように変更した Levenshtein 距離を適用し、照合のロバスト性を向上させる。
• モデル推論の前処理として、ルールベースの前処理を実施：数字はそのベンガル語の語に置換（例：'1' → 'ek'）、文字の延長（例：'baaaad'）は 2 文字に短縮する。
• システムは語レベルのテストデータ評価と、先行研究の感情分析パイプラインを用いたタスクレベルの評価の両方で評価された。

実験結果

リサーチクエスチョン

• RQ1 音声的に不一致なベンガル語-英語コードミックス語の表記を、標準化された ITRANS 形式に正規化するための seq2seq モデルは、効果的に学習できるか？
• RQ2 ニューラル正規化モジュールと Levenshtein 距離照合を組み合わせることで、直接的な文字列照合と比較して正確性がどの程度向上するか？
• RQ3 特定の音声的置換（例：'a' と 'o'、'b' と 'v'）は正規化性能にどの程度影響を与えるか？それらを同等とみなすようにモデル化することで、性能が向上するか？
• RQ4 正規化処理が、コードミックスデータにおける下流の NLP タスク（例：感情分析）の性能に顕著な向上をもたらすか？
• RQ5 未知語（Out-of-vocabulary）やモデルの誤りは、全体のシステム正確性にどのような影響を及ぼすか？それらは緩和可能か？

主な発見

• 提案されたシステムは、テストデータにおいて語レベルの正規化正確性が 90.27% を達成し、seq2seq モジュールを含まないベースライン設定を著しく上回った。
• seq2seq 正規化段階の導入により、直接的な Levenshtein 照合（58.78%）と比較して正確性が 30.94 パーセンテージポイント向上（最良の非変更設定で 89.72% まで）。
• 特定の音声的ペア（例：'a'/'o'、'b'/'v'）を同等とみなすように変更した Levenshtein 距離を用いることで、標準 Levenshtein 距離と比較して正確性が 0.55 パーセンテージポイント向上した。
• 感情分析モデルの F1 スコアが 1.41 ポints 向上（81.20 から 82.61 に）、下流タスクへの実用的利点を示した。
• 正規化エラーの 92% が BN TRANS 辞書に存在しない未知語に起因しており、語彙カバレッジが主なボトルネックであることが示された。
• 誤った出力と正しい ITRANS 形式との間の平均 Levenshtein 距離は 1.89 であり、seq2seq モデルの予測がしばしば正解に近く、語彙カバレッジの向上によりさらなる性能向上が期待できることが示唆された。