[논문 리뷰] Online Tensor Methods for Learning Latent Variable Models

Furong Huang, U. N. Niranjan외 2명|arXiv (Cornell University)|2013. 09. 03.

Tensor decomposition and applications참고 문헌 46인용 수 9

한 줄 요약

이 논문은 공동체 탐지 및 토픽 모델링을 위한 잠재변수 모델을 학습하기 위해 확률적 경사 하강법을 사용하는 온라인 텐서 분해 방법을 제안한다. 이 방법은 계산 및 저장 비용을 줄이기 위해 명시적 텐서 형성 방식을 피한다. 실제 데이터셋인 Facebook, DBLP, 뉴욕 타임스에서 최신 기술 수준의 정확도를 달성하며, 여러 계량 수준의 속도 향상을 보이며, 변분 추론 방법보다 효율성과 강건성 면에서 뛰어나다.

ABSTRACT

We introduce an online tensor decomposition based approach for two latent variable modeling problems namely, (1) community detection, in which we learn the latent communities that the social actors in social networks belong to, and (2) topic modeling, in which we infer hidden topics of text articles. We consider decomposition of moment tensors using stochastic gradient descent. We conduct optimization of multilinear operations in SGD and avoid directly forming the tensors, to save computational and storage costs. We present optimized algorithm in two platforms. Our GPU-based implementation exploits the parallelism of SIMD architectures to allow for maximum speed-up by a careful optimization of storage and data transfer, whereas our CPU-based implementation uses efficient sparse matrix computations and is suitable for large sparse datasets. For the community detection problem, we demonstrate accuracy and computational efficiency on Facebook, Yelp and DBLP datasets, and for the topic modeling problem, we also demonstrate good performance on the New York Times dataset. We compare our results to the state-of-the-art algorithms such as the variational method, and report a gain of accuracy and a gain of several orders of magnitude in the execution time.

연구 동기 및 목표

• 강력한 통계적 보장 조건을 갖춘 텐서 기반 방법을 사용하여 겹치는 공동체와 토픽을 스케일러블하고 효율적으로 학습할 수 있는 프레임워크를 개발한다.
• 대규모 잠재변수 모델에서 명시적 텐서 연산의 계산 비용이 과도한 문제를 해결하기 위해 암시적 텐서 계산을 사용한다.
• 모멘트 텐서에 대한 확률적 경사 하강법을 통해 잠재변수 모델의 온라인 학습을 가능하게 한다.
• 유형이 다른 그래프, 즉 방향성, 무방향성, 이분 그래프를 포함한 다양한 유형의 네트워크에 적용 가능한 통합적 접근법을 제공한다.
• 기존의 변분 방법의 한계, 예를 들어 고정된 연결성 가정과 희박하거나 복잡한 네트워크에서의 낮은 확장성 문제를 해결한다.

제안 방법

• 데이터에서 유래한 경험적 모멘트 텐서를 기반으로 다중선형 연산을 최적화하기 위해 온라인 확률적 경사 하강법(SGD)을 사용한다.
• 메모리 및 계산 비용을 줄이기 위해 텐서 연산을 암시적으로 행렬 및 벡터 연산을 통해 계산함으로써 명시적 텐서 형성 방식을 피한다.
• 소셜 네트워크와 텍스트 코퍼스와 같은 대규모 희박 데이터셋에서 효율적인 계산을 위해 희박 행렬 표현을 활용한다.
• 최대의 속도 향상을 위해 SIMD 병렬 처리를 활용한 GPU 기반 구현을 구현한다. 메모리 접근 및 데이터 전송을 최적화한다.
• GPU 메모리에 담을 수 없는 데이터셋을 위해 효율적인 희박 선형 대수를 사용한 CPU 기반 구현을 개발한다.
• 수동으로 공동체 수를 조정할 필요 없이, p-값과 위임 오류율을 사용한 가설 검정을 통해 공동체 복원 성능를 평가한다.

실험 결과

연구 질문

• RQ1 SGD를 통한 온라인 텐서 분해가 실제 사회 네트워크에서 겹치는 공동체를 학습할 때 높은 정확도와 확장성을 달성할 수 있는가?
• RQ2 대규모 데이터셋에서 최신 기술 수준의 변분 추론 방법과 비교해 본다면, 제안된 방법은 정확도와 실행 시간 면에서 어떻게 성능을 내는가?
• RQ3 모델 성능을 희생시키지 않고도 암시적 텐서 연산이 계산 및 저장 비용을 얼마나 줄일 수 있는가?
• RQ4 기존의 변분 접근법과 달리, 이 방법은 이분 그래프나 방향성 네트워크를 포함한 다양한 유형의 그래프에 일반화될 수 있는가?
• RQ5 사전에 공동체 수를 알지 못하는 조건에서 p-값과 위임 오류율의 사용이 공동체 탐지 정확도 평가에 얼마나 효과적인가?

주요 결과

• I/O 오버헤드를 제외한 2분 이내에, 100만 개 노드, 1600만 개 간선, 250개 공동체를 가진 DBLP 데이터셋에서 10% 오차율을 달성했다.
• Facebook 데이터셋에서는 고등학교, 기숙사, 복수 전공 등 실제 사회적 구조를 반영한 높은 정확도로 공동체를 성공적으로 복원했다.
• 뉴욕 타임스 데이터셋(10만 단어, 30만 문서)에서 약 2분 내로 알고리즘을 실행하여 해석 가능한 토픽을 학습하고, 여러 토픽에 공통적으로 나타나는 '브리징' 단어를 식별했다.
• GPU 기반 구현은 Gopalan 등(2012)의 확률적 변분 추론 방법 대비 대규모 희박 그래프에서 수 개 계량 수준의 속도 향상을 달성했다.
• 정확도와 효율성 면에서 변분 추론을 뛰어넘었으며, 동일한 연결성 모델에 제한되지 않았다.
• p-값을 사용한 평가 방식은 공동체 수 조정이 필요 없었으며, 복원 성능 평가에 대해 민첩하고 강건한 접근을 제공했다.