[論文レビュー] GPU-based Commonsense Paradigms Reasoning for Real-Time Query Answering and Multimodal Analysis

Ha Nguyen Tran, Erik Cambria|arXiv (Cornell University)|Jul 14, 2018

Sentiment Analysis and Opinion Mining被引用数 3

ひとこと要約

本稿では、知識グラフ上の部分グラフ類似度検索とルールベースのSPARQLクエリを活用して、リアルタイムの常識的推論およびマルチモーダルセンチメント分析を実現するGPUアクセラレートフレームワークを提案する。最適化されたGPUカーネルおよびブルームフィルタのようなデータ構造を用いることで、CPUベースのシステムに比べて複数桁の高速化を達成しており、YouTubeのセンチメント分析では78%の精度を達成し、大規模データセットにおいて線形スケーラビリティを示している。

ABSTRACT

We utilize commonsense knowledge bases to address the problem of real- time multimodal analysis. In particular, we focus on the problem of multimodal sentiment analysis, which consists in the simultaneous analysis of different modali- ties, e.g., speech and video, for emotion and polarity detection. Our approach takes advantages of the massively parallel processing power of modern GPUs to enhance the performance of feature extraction from different modalities. In addition, in order to ex- tract important textual features from multimodal sources we generate domain-specific graphs based on commonsense knowledge and apply GPU-based graph traversal for fast feature detection. Then, powerful ELM classifiers are applied to build the senti- ment analysis model based on the extracted features. We conduct our experiments on the YouTube dataset and achieve an accuracy of 78% which outperforms all previous systems. In term of processing speed, our method shows improvements of several orders of magnitude for feature extraction compared to CPU-based counterparts.

研究の動機と目的

• 大規模な知識ベースにおけるリアルタイムの常識的推論およびクエリ応答の性能とスケーラビリティのボトル neck を解決すること。
• GPUの巨大な並列性を活用して、常識的知識グラフにおける部分グラフ類似度検索およびルールベース推論を高速化すること。
• GPUアクセラレートされた特徴抽出と常識に基づくテキスト特徴検出を統合することで、マルチモーダルセンチメント分析を向上させること。
• 推論パイプラインにおける最適なパフォーマンスを実現するため、GPUとCPUのワークロードをバランスさせる共同処理モデルを構築すること。
• ワイルドカードや正規表現を含むより洗練されたクエリタイプおよび記述論理におけるより高い表現力のサポートを拡張すること。

提案手法

• 部分グラフ類似度検索にフィルタリング・ジョイン戦略を用いるGPUベースのフレームワークGpSenseを提案。メモリ使用量を削減するためのマルチレベルグラフ圧縮を実装。
• GPU最適化されたプリミティブ（ソート、マージ、プレフィックススキャン、コンパクション）を用いて、GPU上で下位から上位への順序で推論ツリーを実行。
• バックワードチェイン推論中の三元組の重複を効率的に処理するため、GPUベースのブルームフィルタおよびソーティングアルゴリズムを導入。
• RDF三元組をGPU実行可能なカーネルにマッピングするためのストリーム処理プリミティブを用いた、GPUアクセラレートSPARQLクエリプロセッサgSparqlを開発。
• テキスト、音声、動画から同時に抽出された特徴を用いて、GPU-ELM（極端に学習された機械学習）を適用し、マルチモーダルセンチメント分類を高速化。
• SenticNetからドメイン特化の常識グラフを構築し、顕著なテキスト特徴を抽出。その後、特徴レベルおよび意思決定レベルで統合することで精度を向上。

実験結果

リサーチクエスチョン

• RQ1 GPUアクセラレーションは、常識的知識グラフにおける部分グラフ類似度検索のパフォーマンスを顕著に向上させ得るか？
• RQ2 ルールベースのSPARQLクエリ処理をGPUアーキテクチャに効果的にマッピングすることで、低遅延推論を達成できるか？
• RQ3 GPUアクセラレートされた特徴抽出および常識強化テキスト表現は、マルチモーダルセンチメント分析の精度と速度をどの程度向上させ得るか？
• RQ4 GPUベースの常識的推論システムにおける線形スケーラビリティと高スループットを実現するための主な最適化技術は何か？
• RQ5 GPU-CPU共同処理および高度なデータレイアウトをどのように設計すれば、複雑なクエリをサポートし、通信オーバーヘッドを低減できるか？

主な発見

• GpSenseは線形スケーラビリティを示し、最先端のCPUベース手法に比べて部分グラフ類似度検索で複数桁の性能向上を達成した。
• 本システムはYouTubeマルチモーダルセンチメント分析データセットで78%の精度を示し、従来のシステムを上回った。
• 音声、動画、テキストコンponentsのGPUベース特徴抽出は、CPUベース実装に比べて複数桁の高速化を達成した。
• GPU最適化ブルームフィルタおよびソーティングの活用により、ルールベース推論における三元組の重複オーバーヘッドが低減され、推論効率が向上した。
• マルチレベルグラフ圧縮によりメモリ使用量が削減されつつもクエリ精度を保持でき、大規模知識ベースにおける効率的処理を可能にした。
• GowallaおよびEnronデータセットの両方で効果的なスケーリングが確認され、多様な実世界の知識グラフにおいても堅牢性を示した。