[論文レビュー] Taming the zoo - about algorithms implementation in the ecosystem of Apache Hadoop

Piotr Jan Dendek, Artur Czeczko+4 more|arXiv (Cornell University)|Mar 21, 2013

Data Quality and Management参考文献 20被引用数 3

ひとこと要約

本論文では、科学的出版物の大規模テキストマイニングのためのHadoopベースのフレームワーク、CoAnSysを提示する。このフレームワークは、引用照合、文書類似度、分類のためのMapReduceフレンドリーなアルゴリズムを実装している。HDFS、HBase、Pig、Oozieを用いた最適化されたワークフローを通じて、スケーラブルかつモジュラーな科学文献からの知識抽出を実現している。

ABSTRACT

Content Analysis System (CoAnSys) is a research framework for mining scientific publications using Apache Hadoop. This article describes the algorithms currently implemented in CoAnSys including classification, categorization and citation matching of scientific publications. The size of the input data classifies these algorithms in the range of big data problems, which can be efficiently solved on Hadoop clusters.

研究の動機と目的

• 大規模な科学的出版物データセットを、スケーラブルなデータマイニング技術を用いて処理する課題に対処すること。
• Apache Hadoopエコシステム内でのビッグデータテキストマイニングアルゴリズムの実装を可能にするモジュラーかつ再利用可能なフレームワークを設計すること。
• 効率的なデータシリアル化、ストレージ、ワークフロー管理を通じて、Hadoopワークフローにおけるパフォーマンスとリソース利用効率を最適化すること。
• 標準化されたI/Oインタフェースとワークフローオchestrationを用いて、研究者が複雑なデータ変換を実装および連結できるようにすること。
• 実世界の科学的データパイプラインにおけるMapReduceベースのテキストマイニングの実装パターンとベストプラクティスを共有すること。

提案手法

• クラスタ上でテキストマイニングワークロードを分散および並列化するために、Apache HadoopとMapReduceパラダイムを採用すること。
• モジュール間およびストレージレイヤー間のデータのcompactで拡張可能なシリアル化のために、Protocol Buffersを使用すること。
• 入力データをHDFSのSequenceFilesとして保存し、HBaseのREST経由で出力結果を永続的にアクセス可能にする。
• Java、Pig、またはScalaを用いたMapReduceジョブとして、引用照合、文書類似度、分類などのアルゴリズムを実装すること。
• TF-IDFの事前計算、Pigにおけるレプリケート・スケーリング・マージジョインの使用、中間データシャッフルの最小化により、データ転送とメモリ使用量を最適化すること。
• Apache Oozieを用いたワークフローオーケストレーションにより、データ処理パイプラインを連結し、再現可能性と実行追跡を保証すること。

実験結果

リサーチクエスチョン

• RQ1 Hadoopクラスタ上でMapReduceパラダイムを用いて、引用照合をスケーラブルに効率的に実装する方法は何か？
• RQ2 文書類似度および分類パイプラインにおけるパフォーマンスボトルネックは何か。ビッグデータ環境ではそれらをどのように緩和できるか？
• RQ3 大規模テキストマイニングワークフローにおいて、最適なパフォーマンスを実現するストレージおよびシリアル化戦略（HDFS対HBase、Protocol Buffers）は何か？
• RQ4 Apache Oozieのようなワークフロー管理ツールは、Hadoopにおける複雑なデータ処理パイプラインの信頼性および保守性をどのように向上させるか？
• RQ5 Hadoop上でテキストマイニングアルゴリズムを効率的に実行するために、どのような主要な実装パターンと最適化が有効か？

主な発見

• CoAnSysフレームワークは、Hadoopを用いて科学的出版物データのスケーラブルな処理を成功裏に実現しており、引用照合や文書分類などのアルゴリズムが大規模データセットで高いスループットを達成している。
• 中間データストレージにHBaseの代わりにHDFSのSequenceFilesを使用することで、高負荷下でのタイムアウトによるタスク失敗チェーンを回避し、パフォーマンスが著しく向上した。
• Protocol Bufferシリアル化により、モジュール間での効率的で拡張可能かつ型安全なデータ交換が可能となり、データ整合性が向上し、I/Oオーバーヘッドが削減された。
• 処理順序の最適化（例：TF-IDFの事前計算、早期段階でのデータ変換のグループ化）により、データ転送が削減され、全体のワークフロー効率が向上した。
• Hadoop統合、実行追跡、永続化の機能を備えたApache Oozieは、BashやPythonのようなスクリプト代替よりも優れたパフォーマンスを発揮した。
• Pigにおける特殊なジョインタイプ（例：レプリケート、スケーリング、マージジョイン）は、大規模データセットと小規模リファレンスセットの結合において、顕著なパフォーマンス向上をもたらした。