[論文レビュー] Parallelization of Maximum Entropy POS Tagging for Bahasa Indonesia with MapReduce

Arif Nurwidyantoro, Edi Winarko|arXiv (Cornell University)|Aug 15, 2012

Natural Language Processing Techniques参考文献 5被引用数 7

ひとこと要約

本稿では、インドネシア語の最大エントロピー品詞タギング（POSタギング）のMapReduceベース分散処理を提案し、学習および推論の両方を高速化する。辞書構築、タグ-トークンマッピング、学習中の特徴量生成、および行単位の文書タギングの並列処理を実装した。実験の結果、タギングで顕著な高速化が達成されたが、100万語のコーパスにおいて30個のマップタスクで最適なパフォーマンスが得られた。一方、学習のI/Oオーバーヘッドが性能向上を制限した。

ABSTRACT

In this paper, MapReduce programming model is used to parallelize training and tagging proceess in Maximum Entropy part of speech tagging for Bahasa Indonesia. In training process, MapReduce model is implemented dictionary, tagtoken, and feature creation. In tagging process, MapReduce is implemented to tag lines of document in parallel. The training experiments showed that total training time using MapReduce is faster, but its result reading time inside the process slow down the total training time. The tagging experiments using different number of map and reduce process showed that MapReduce implementation could speedup the tagging process. The fastest tagging result is showed by tagging process using 1,000,000 word corpus and 30 map process.

研究の動機と目的

• インドネシア語の最大エントロピー品詞タガーラーの学習およびタギングにおける計算非効率性を解消すること。
• データ並列実行により、インドネシア語のような低リソース言語における品詞タギングの処理時間を短縮すること。
• 分散システム全体にわたりMaxEnt品詞タギングをスケーリングするためのMapReduceの有効性を評価すること。
• 大規模コーパスにおけるタギングパフォーマンスを最大化するためのマップタスクおよびリダースタスクの最適な設定を同定すること。

提案手法

• マップレッドスケールを用いて、ノード間で辞書作成、タグ-トークンペア生成、特徴抽出を分散処理することで学習フェーズを並列化する。
• タギングフェーズは、入力テキストを各行に分割し、複数のマップタスクで独立して処理することで並列化する。
• 学習中の特徴生成における順序依存性を扱うためにカスタムMapReduceパイプラインを設計し、同時にデータレベルの並列性を実現する。
• システムは、n-gramおよび文脈依存特徴を備えた標準的なMaxEntモデルを採用しており、インドネシア語の変形の複雑さに適応している。
• ジョブスケジューリング、データシャッフル、フェイルセーフの管理にHadoopのMapReduceフレームワークを活用する。
• パフォーマンス評価には、マップタスクおよびリダースタスクの数を変化させた100万語のインドネシア語コーパスを用いる。

実験結果

リサーチクエスチョン

• RQ1 MapReduceは、インドネシア語用の最大エントロピー品詞タガーラーの学習プロセスを効果的に並列化できるか？
• RQ2 マップタスクおよびリダースタスクの数が、分散環境における全体のタギング速度にどのように影響するか？
• RQ3 大規模コーパス上でタギング時間を最小化するためのMapReduceタスクの最適な設定は何か？
• RQ4 並列化にもかかわらず、なぜ学習時間が線形にスケーリングされないのか。また、そのボトルネックは何か？
• RQ5 MapReduceは、低リソースで変形が豊富な言語における品詞タギングの効率をどの程度向上できるか？

主な発見

• タギング処理はMapReduceにより顕著な高速化が達成され、100万語のコーパスにおいて30個のマップタスクで最速のパフォーマンスが得られた。
• 学習時間はI/Oオーバーヘッド（結果の読み込み時）が原因で線形にスケーリングされず、並列処理にもかかわらずボトルネックとなった。
• 学習中の特徴生成およびタグ-トークンマッピングの並列化により計算時間が短縮されたが、I/O遅延の影響を相殺するには至らなかった。
• コンmodityクラスタを用いた大規模なインドネシア語品詞タギングにおいて、実用的なスケーラビリティを示した。
• 結果から、MapReduceは推論（タギング）の高速化には有効であるが、データアクセスパターンの関係で学習フェーズにはあまり効果が薄いことが確認された。
• タギングの最適設定は30個のマップタスクであると判明し、タスクの細分化と制御オーバーヘッドのトレードオフが示された。