[논문 리뷰] GPU-based Commonsense Paradigms Reasoning for Real-Time Query Answering and Multimodal Analysis

Ha Nguyen Tran, Erik Cambria|arXiv (Cornell University)|2018. 07. 14.

Sentiment Analysis and Opinion Mining인용 수 3

한 줄 요약

이 논문은 지식 그래프에서 부분그래프 유사도 검색과 규칙 기반 SPARQL 쿼리 검색을 활용하여 실시간 공통지식 추론 및 다중모odal 감성 분석을 위한 GPU 가속 프레임워크를 제안한다. 최적화된 GPU 커널과 블룸 필터와 같은 데이터 구조를 사용하여 CPU 기반 시스템에 비해 수개의 주기 수준의 성능 향상을 달성했으며, 유튜브 감성 분석에서 78%의 정확도를 기록하고 대규모 데이터셋에서 선형 확장성을 확보하였다.

ABSTRACT

We utilize commonsense knowledge bases to address the problem of real- time multimodal analysis. In particular, we focus on the problem of multimodal sentiment analysis, which consists in the simultaneous analysis of different modali- ties, e.g., speech and video, for emotion and polarity detection. Our approach takes advantages of the massively parallel processing power of modern GPUs to enhance the performance of feature extraction from different modalities. In addition, in order to ex- tract important textual features from multimodal sources we generate domain-specific graphs based on commonsense knowledge and apply GPU-based graph traversal for fast feature detection. Then, powerful ELM classifiers are applied to build the senti- ment analysis model based on the extracted features. We conduct our experiments on the YouTube dataset and achieve an accuracy of 78% which outperforms all previous systems. In term of processing speed, our method shows improvements of several orders of magnitude for feature extraction compared to CPU-based counterparts.

연구 동기 및 목표

• 대규모 지식 기반에서 실시간 공통지식 추론 및 쿼리 응답의 성능 및 확장성 문제를 해결하기 위해.
• GPU의 막대한 병렬 처리 능력을 활용하여 공통지식 지식 그래프 내에서 부분그래프 유사도 검색과 규칙 기반 추론을 가속화하기 위해.
• GPU 가속 특징 추출과 공통지식 기반 텍스트 특징 탐지 통합을 통해 다중모달 감성 분석을 향상시키기 위해.
• 추론 파이프라인에서 최적의 성능을 달성하기 위해 GPU와 CPU 작업을 균형 있게 조정하는 공동 처리 모델을 개발하기 위해.
• 와일드카드 및 정규 표현식을 포함한 더 풍부한 쿼리 유형과 서술 논리에서 더 높은 표현력을 지원하기 위해 시스템을 확장하기 위해.

제안 방법

• 부분그래프 유사도 검색을 위한 필터링-조인 전략을 사용하는 GPU 기반 프레임워크인 GpSense를 제안하며, 메모리 사용량을 줄이기 위해 다수준 그래프 압축을 적용한다.
• GPU 최적화된 기본 연산(정렬, 병합, 접두사 스캔, 압축)을 활용하여 추론 트리를 GPU에서 하향식으로 실행한다.
• 역방향 추론 과정에서 삼중항 중복을 효율적으로 처리하기 위해 GPU 기반 블룸 필터와 정렬 알고리즘을 도입한다.
• RDF 삼중항을 GPU 실행 가능한 커널로 매핑하기 위해 스트림 처리 기본 연산을 사용하는 GPU 가속 SPARQL 쿼리 프로세서인 gSparql를 개발한다.
• 병렬적으로 텍스트, 음성, 영상에서 추출한 특징을 활용하여 GPU-ELM(GPU 기반 초고속 학습 기계)을 적용해 다중모달 감성 분류를 빠르게 수행한다.
• SenticNet에서 도메인 특화 공통지식 그래프를 구축하여 주요 텍스트 특징을 추출하고, 이 특징들을 특징 수준과 결정 수준에서 융합하여 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 GPU 가속이 공통지식 지식 그래프 내 부분그래프 유사도 검색 성능을 크게 향상시킬 수 있는가?
• RQ2 규칙 기반 SPARQL 쿼리 처리를 GPU 아키텍처에 효과적으로 매핑하여 저지연 추론을 달성할 수 있는가?
• RQ3 GPU 가속 특징 추출과 공통지식 기반 텍스트 표현이 다중모달 감성 분석의 정확도와 속도를 얼마나 향상시킬 수 있는가?
• RQ4 GPU 기반 공통지식 추론 시스템에서 선형 확장성과 고처리량을 달성하는 데 핵심이 되는 최적화 기법은 무엇인가?
• RQ5 GPU-CPU 공동 처리 및 고급 데이터 레이아웃을 어떻게 설계하여 복잡한 쿼리 처리를 지원하고 통신 오버헤드를 줄일 수 있는가?

주요 결과

• GpSense는 부분그래프 유사도 검색에서 선형 확장성을 확보하며, 최신 CPU 기반 방법에 비해 수개의 주기 수준 성능 향상을 달성한다.
• 시스템은 유튜브 다중모달 감성 분석 데이터셋에서 78%의 정확도를 기록하며 이전 시스템을 초월한다.
• 오디오, 영상, 텍스트 구성 요소에 대한 GPU 기반 특징 추출은 CPU 기반 구현 대비 수개의 주기 수준 성능 향상을 달성한다.
• GPU 최적화 블룸 필터와 정렬 기법의 사용은 삼중항 중복 오버헤드를 줄이고 규칙 기반 추론의 효율성을 향상시킨다.
• 다중 수준 그래프 압축은 정확도를 유지하면서 메모리 사용량을 감소시켜 대규모 지식 기반에서의 효율적 처리를 가능하게 한다.
• Gowalla 및 Enron 데이터셋 모두에서 시스템이 효과적으로 확장되며, 다양한 실제 지식 그래프에서의 강건성을 확인한다.