[论文解读] GPU-based Commonsense Paradigms Reasoning for Real-Time Query Answering and Multimodal Analysis

Ha Nguyen Tran, Erik Cambria|arXiv (Cornell University)|Jul 14, 2018

Sentiment Analysis and Opinion Mining被引用 3

一句话总结

该论文提出了一种基于GPU加速的框架，用于实时常识推理和多模态情感分析，利用知识图谱上的子图相似性搜索和基于规则的SPARQL查询。通过使用优化的GPU内核和Bloom过滤器等数据结构，该方法在CPU基系统上实现了数量级的加速，YouTube情感分析准确率达到78%，并在大规模数据集上表现出线性可扩展性。

ABSTRACT

We utilize commonsense knowledge bases to address the problem of real- time multimodal analysis. In particular, we focus on the problem of multimodal sentiment analysis, which consists in the simultaneous analysis of different modali- ties, e.g., speech and video, for emotion and polarity detection. Our approach takes advantages of the massively parallel processing power of modern GPUs to enhance the performance of feature extraction from different modalities. In addition, in order to ex- tract important textual features from multimodal sources we generate domain-specific graphs based on commonsense knowledge and apply GPU-based graph traversal for fast feature detection. Then, powerful ELM classifiers are applied to build the senti- ment analysis model based on the extracted features. We conduct our experiments on the YouTube dataset and achieve an accuracy of 78% which outperforms all previous systems. In term of processing speed, our method shows improvements of several orders of magnitude for feature extraction compared to CPU-based counterparts.

研究动机与目标

• 解决大规模知识库中实时常识推理和查询回答的性能与可扩展性瓶颈。
• 利用GPU的海量并行性，加速常识知识图谱中的子图相似性搜索和基于规则的推理。
• 通过集成GPU加速的特征提取和基于常识的文本特征检测，提升多模态情感分析性能。
• 开发一种GPU与CPU工作负载协同处理的模型，以在推理流水线中实现最优性能。
• 扩展系统以支持更丰富的查询类型，包括通配符和正则表达式，并在描述逻辑中实现更高表达能力。

提出的方法

• 提出GpSense，一种基于GPU的框架，采用过滤-连接策略进行子图相似性搜索，并通过多级图压缩减少内存占用。
• 使用GPU优化的原原子操作（如排序、归并、前缀扫描和压缩）以自底向上的方式在GPU上执行推理树。
• 引入基于GPU的Bloom过滤器和排序算法，高效处理反向链推理过程中的三元组重复问题。
• 开发gSparql，一种GPU加速的SPARQL查询处理器，通过流处理原原子操作将RDF三元组映射为GPU可执行内核。
• 应用GPU-ELM（极限学习机）并行处理从文本、音频和视频中提取的特征，实现快速的多模态情感分类。
• 从SenticNet构建领域特定的常识图谱，提取显著的文本特征，并在特征层和决策层进行融合，以提升准确率。

实验结果

研究问题

• RQ1 GPU加速能否显著提升常识知识图谱中子图相似性搜索的性能？
• RQ2 如何有效将基于规则的SPARQL查询处理映射到GPU架构上，以实现低延迟推理？
• RQ3 GPU加速的特征提取和基于常识的文本表示在多模态情感分析中，能在多大程度上提升准确率和处理速度？
• RQ4 哪些关键优化技术能够实现GPU-based常识推理系统中的线性可扩展性和高吞吐量？
• RQ5 如何设计GPU-CPU协同处理机制和高级数据布局，以支持复杂查询并减少通信开销？

主要发现

• GpSense在子图相似性搜索中表现出线性可扩展性，并在性能上相比最先进的CPU基方法实现多个数量级的提升。
• 该系统在YouTube多模态情感分析数据集上达到78%的准确率，优于以往系统。
• 与CPU基实现相比，GPU加速的音频、视频和文本特征提取实现了多个数量级的速度提升。
• 使用GPU优化的Bloom过滤器和排序算法降低了三元组重复的开销，提升了基于规则推理的效率。
• 多级图压缩在保持查询准确率的同时减少了内存使用，使大规模知识库的高效处理成为可能。
• 该框架在Gowalla和Enron数据集上均表现出有效扩展性，证实了其在多样化真实世界知识图谱中的鲁棒性。