[論文レビュー] DeepNorm-A Deep Learning Approach to Text Normalization

Maryam Zare, Shaurya Rohatgi|arXiv (Cornell University)|Dec 17, 2017

Natural Language Processing Techniques参考文献 6被引用数 7

ひとこと要約

本稿では、勾配ブースティング分類とシーケンス・ツー・シーケンスRNNを組み合わせたハイブリッド深層学習モデル、DeepNormを提案する。予測された意味的クラスラベルをシーケンスモデルの文脈として用いることで、限定的な計算リソース下でもKaggleデータセットで97.62%のテスト精度を達成し、ベースラインのRNNモデルを上回り、Googleの最先端結果に近づいた。

ABSTRACT

This paper presents an simple yet sophisticated approach to the challenge by Sproat and Jaitly (2016)- given a large corpus of written text aligned to its normalized spoken form, train an RNN to learn the correct normalization function. Text normalization for a token seems very straightforward without it's context. But given the context of the used token and then normalizing becomes tricky for some classes. We present a novel approach in which the prediction of our classification algorithm is used by our sequence to sequence model to predict the normalized text of the input token. Our approach takes very less time to learn and perform well unlike what has been reported by Google (5 days on their GPU cluster). We have achieved an accuracy of 97.62 which is impressive given the resources we use. Our approach is using the best of both worlds, gradient boosting - state of the art in most classification tasks and sequence to sequence learning - state of the art in machine translation. We present our experiments and report results with various parameter settings.

研究の動機と目的

• 音声認識（ASR）および音声合成（TTS）システムにおける文脈依存トークン正規化の課題に対処する。
• シーケンス・ツー・シーケンスモデルへの文脈入力として意味的クラス予測を組み込むことで、正規化精度を向上させる。
• Googleの5日間のGPUトレーニングのような大規模RNNベースのアプローチと比較し、トレーニング時間とリソース使用量を削減する。
• モデルアーキテクチャ、語彙サイズ、シーケンス長が多様なトークンタイプにおける正規化性能に与える影響を調査する。
• 特に稀または複雑なクラス（例：VERBATIMEやELECTRONIC）における正規化の失敗モードを同定し、改善策を提案する。

提案手法

• 2段階パイプライン：まず、勾配ブースティング分類器（XGBoost）が各入力トークンの意味的クラスを予測する。
• 予測されたクラスラベルを入力トークンに連結し、エンコーダ・デコーダRNNアーキテクチャに供給してシーケンス・ツー・シーケンス正規化を実行する。
• モデルはアテンション機構を用い、Adam最適化アルゴリズムと10エポックにわたる学習率スケジューリングでトレーニングされる。
• GPUメモリ制限のため語彙サイズは100,000トークンに制限され、低頻度クラスの性能に影響を与える。
• エンコーダ入力シーケンス長が制限されており、URLや複雑な電話番号などの長いトークンを処理する能力に制限がある。
• エンコーダ/デコーダの層数や隠れユニット数といったハイパーパramータでモデルをファインチューニングし、600,000件のテストセットで性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 強力な分類器とシーケンス・ツー・シーケンスモデルを組み合わせることで、エンド・ツー・エンドRNNと比較してテキスト正規化精度が向上するか？
• RQ2 予測された意味的クラスラベルを文脈として含めることで、さまざまなトークンタイプにおける正規化性能にどのような影響を与えるか？
• RQ3 語彙サイズとエンコーダシーケンス長が、希少または長い形式のトークンにおけるモデル性能にどの程度制限を及えるか？
• RQ4 DATE、CARDINAL、DIGIT、TELEPHONE、MONEY、VERBATIME、ELECTRONICといった意味的クラスごとに、モデルの正規化精度はどのように変動するか？
• RQ5 限定的なハードウェアでトレーニングされた軽量モデルが、Googleのような大規模モデルと同等の性能を達成できるか？

主な発見

• 600,000件のテストセットで97.62%のテスト精度を達成し、最小限の計算リソースで優れた性能を示した。
• DATE、CARDINAL、DIGITクラスで最も高い性能を示し、2016を「twenty sixteen」や「two thousand and sixteen」として高頻度で正しく正規化した。
• VERBATIMEおよびELECTRONICクラスでは性能が著しく低下し、語彙サイズの制限と短いエンコーダコンテキスト窓の影響で正答率が低下した。
• エンコーダユニット数の増加により正答率が向上したが、層数の増加はほとんど効果がなかった。
• 長いシーケンス（例：40文字以上）では、関係のない文字列を生成したり、単語を漏らしたりするなど、コンテキスト保持能力の限界が顕在した。
• 著者らは、XGBoostの代わりにLSTMを用いたより強力な分類器を採用することで、特に希少または複雑なトークンタイプの性能をさらに向上できると結論づけた。