[논문 리뷰] Fast Amortized Inference and Learning in Log-linear Models with Randomly Perturbed Nearest Neighbor Search

Stephen Mussmann, Daniel Lévy외 1명|arXiv (Cornell University)|2017. 07. 11.

Topic Modeling참고 문헌 22인용 수 6

한 줄 요약

이 논문은 Gumbel 편향과 최대 내적 검색(MIPS)을 사용하여 대규모 이산 로그선형 모델에 대한 부분선형 평균화된 추론 및 학습 방법을 제안한다. MIPS를 통해 상위 $O(\sqrt{n})$ 후보들만 게으르게 샘플링하고 꼬리 부분에서 균일 샘플링을 수행함으로써, ImageNet과 단어 임베딩에서 정확도 보장이 있는 정확한 추론 대비 $5\text{--}10\times$ 빠른 속도 향상을 달성한다.

ABSTRACT

Inference in log-linear models scales linearly in the size of output space in the worst-case. This is often a bottleneck in natural language processing and computer vision tasks when the output space is feasibly enumerable but very large. We propose a method to perform inference in log-linear models with sublinear amortized cost. Our idea hinges on using Gumbel random variable perturbations and a pre-computed Maximum Inner Product Search data structure to access the most-likely elements in sublinear amortized time. Our method yields provable runtime and accuracy guarantees. Further, we present empirical experiments on ImageNet and Word Embeddings showing significant speedups for sampling, inference, and learning in log-linear models.

연구 동기 및 목표

• 큰 출력 공간을 가진 로그선형 모델에서 추론과 학습의 높은 계산 비용을 해결하기 위해.
• 출력 공간 크기의 선형에서 부분선형으로 샘플링 및 기울기 계산의 평균 실행 시간을 감소시키기 위해.
• 자연어 처리 및 컴퓨터 비전 응용 분야에서 추론과 학습을 크게 가속화하면서도 높은 정확도를 유지하기 위해.
• 대규모 로그선형 모델에서의 근사 추론 및 학습에 대해 실행 시간과 정확도 보장을 제공하기 위해.

제안 방법

• 샘플링을 로그선형 모델에서 편향된 비정규화된 로그확률의 최대화로 변환하기 위해 Gumbel 최대 트릭을 활용한다.
• Gumbel 변수의 게으른 인스턴스화를 도입하여, 계산을 상위 $O(\sqrt{n})$ 개의 가장 가능성 높은 상태에 대해서만 수행함으로써 계산량을 줄인다.
• 매개변수와 특징 간의 내적을 기반으로 상위 $O(\sqrt{n})$ 후보들을 효율적으로 검색하기 위해 최대 내적 검색(MIPS) 데이터 구조를 사용한다.
• 상위-$k$ MIPS 결과와 꼬리 부분에서의 균일 샘플링을 조합하여 분할 함수와 기대 충분통계를 추정한다.
• MIPS 데이터 구조를 블랙박스로 간주하여, 어떤 효율적인 MIPS 구현과도 호환 가능하도록 한다.
• 편향과 상관관계 문제를 피하기 위해 각 쿼리마다 새로이 독립적인 Gumbel 샘플을 사용한다.

실험 결과

연구 질문

• RQ1 대규모 이산 로그선형 모델에서의 추론과 학습은 선형 시간 복잡도를 초월해 가속화될 수 있는가?
• RQ2 정확도를 유지하면서도 부분선형 평균화된 추론을 달성할 수 있고, 이에 대한 이론적 보장을 제공할 수 있는가?
• RQ3 선형 비용 없이도 분포의 꼬리 부분을 근사 추론에 효과적으로 통합할 수 있는가?
• RQ4 Gumbel 편향과 MIPS의 조합을 통해 정확도 보장이 되고 효율적인 추론을 얻을 수 있는가?

주요 결과

• ImageNet에서 정확한 추론 대비 기울기 계산에서 $9.6\times$ 빠른 속도 향상을 달성했으며, 거의 동일한 로그우도를 기록했다.
• ImageNet에서 로그우도가 $-3.175$로 정확한 방법($-3.170$)과 유사했으며, 상위-$k$ 방법($-4.062$)보다 뛰어난 성능을 보였다.
• ImageNet과 단어 임베딩 작업에서 쿼리당 샘플링, 추론, 학습에서 $5\text{--}10\times$의 속도 향상을 제공했다.
• $O(\sqrt{n})$ 상위 후보들과 꼬리 부분에서의 균일 샘플링을 사용함으로써 분할 함수와 기대값의 정확도 보장된 추정이 가능했다.
• 이전의 고정된 노이즈 방법에서 발생하는 편향과 상관관계 문제를 피하기 위해 각 쿼리마다 새로이 독립적인 Gumbel 샘플을 사용함으로써 문제를 해결했다.
• 어떤 효율적인 MIPS 구현과도 유연하게 호환되며, MIPS 기술의 발전에 따라 성능 향상도 자동으로 유도된다.