[論文レビュー] A Survey of Classification Techniques in the Area of Big Data

Praful Koturwar, Sheetal Girase+1 more|arXiv (Cornell University)|Mar 25, 2015

Data Stream Mining Techniques参考文献 3被引用数 22

ひとこと要約

この論文は、大規模で複雑な非構造的データセットを処理する際の利点と制限を分析しながら、ビッグデータ向けの教師あり分類手法を調査している。決定木、ナイーブベイズ、SVM、K-NNなどのアルゴリズムを評価し、ビッグデータ環境におけるスケーラビリティとパフォーマンスに焦点を当て、研究者および実務家向けの比較的概要を提供している。

ABSTRACT

Big Data concern large-volume, growing data sets that are complex and have multiple autonomous sources. Earlier technologies were not able to handle storage and processing of huge data thus Big Data concept comes into existence. This is a tedious job for users unstructured data. So, there should be some mechanism which classify unstructured data into organized form which helps user to easily access required data. Classification techniques over big transactional database provide required data to the users from large datasets more simple way. There are two main classification techniques, supervised and unsupervised. In this paper we focused on to study of different supervised classification techniques. Further this paper shows a advantages and limitations.

研究の動機と目的

• ビッグデータ環境に特化した教師あり分類手法の最新動向を検討すること。
• 大規模で複雑なデータセットを処理する際の、主要な教師あり学習アルゴリズムの強みと弱みを特定・分析すること。
• スケーラビリティと効率性に焦点を当て、ビッグデータワークロードに適した分類手法の比較的概要を提供すること。
• データの特性とシステム制約に基づいて、研究者および実務家が適切な分類手法を選択できるようにガイドすること。

提案手法

• 決定木、ナイーブベイズ、サポートベクターマシン（SVM）、k-近傍法（K-NN）などの教師あり分類手法の体系的レビュー。
• 高ボリューム、高速度、多様性の高いデータ環境におけるアルゴリズムの挙動の分析。
• 各手法の計算複雑性とスケーラビリティをビッグデータフレームワークで評価すること。
• 異なる分類アルゴリズム間での精度、学習時間、リソース使用量の比較。
• 本サーベイに言及された先行研究からの実証的知見を統合し、実世界での適用可能性を評価すること。
• パフォーマンス指標と構造的特徴を比較するための表形式および図形式の要約（2つの表、3つの図）の使用。

実験結果

リサーチクエスチョン

• RQ1 スケーラビリティと精度の観点から、ビッグデータ処理において最も効果的な教師あり分類手法は何か？
• RQ2 従来の分類アルゴリズムは、大規模で非構造的なデータセットに適用された場合、どのように性能を発揮するか？
• RQ3 既存の教師あり分類手法がビッグデータ環境で直面する主な制限要因は何か？
• RQ4 ビッグデータ環境において、異なる分類アルゴリズムの学習時間、メモリ使用量、予測精度の観点での比較は？
• RQ5 ビッグデータアプリケーションにおける分類手法の選定に影響を与える要因は何か？

主な発見

• 決定木は解釈性が高く、中程度のスケーラビリティを示し、準構造的データに適している。
• ナイーブベイズは高次元データにおいて高速で効率的だが、特徴の独立性を仮定するため、精度に制限が生じる可能性がある。
• サポートベクターマシン（SVM）は小規模から中規模のデータセットでは高い精度を発揮するが、非常に大規模なデータ量ではスケーラビリティに課題を抱える。
• k-近傍法（K-NN）は低次元空間では良好に機能するが、ビッグデータ環境では計算コストとメモリ使用量が著しく増加する。
• 本サーベイでは、精度とスケーラビリティのトレードオフが明らかになった。シンプルなモデル、特にナイーブベイズと決定木は、ビッグデータパイプラインでしばしば好まれる。
• 単一のアルゴリズムがすべてのビッグデータシナリオで優位に立つわけではない。選定はデータサイズ、次元数、計算制約に依存する。