[논문 리뷰] Efficient Training on Very Large Corpora via Gramian Estimation

Walid Krichene, Nicolas Mayoraz외 6명|arXiv (Cornell University)|2018. 07. 18.

Topic Modeling참고 문헌 27인용 수 7

한 줄 요약

이 논문은 매우 큰 코퍼스에서 비선형 임bedding 모델을 훈련시키는 데 있어, 관측되지 않은 쌍의 전역 반발력 페널티 항을 확률적 경사 하강법을 통해 그람 행렬에 대한 추정을 통해 계산함으로써, 관측되지 않은 쌍을 비용이 많이 드는 샘플링 없이 효율적으로 처리하는 SOGram과 SAGram을 제안한다. 이 방법은 기존의 샘플링 기반 방법에 비해 훈련 속도가 현저히 빠르고 일반화 성능이 향상되며, 특히 대규모 데이터셋에서 최대 33.2% 높은 검증 MAP를 기록한다.

ABSTRACT

We study the problem of learning similarity functions over very large corpora using neural network embedding models. These models are typically trained using SGD with sampling of random observed and unobserved pairs, with a number of samples that grows quadratically with the corpus size, making it expensive to scale to very large corpora. We propose new efficient methods to train these models without having to sample unobserved pairs. Inspired by matrix factorization, our approach relies on adding a global quadratic penalty to all pairs of examples and expressing this term as the matrix-inner-product of two generalized Gramians. We show that the gradient of this term can be efficiently computed by maintaining estimates of the Gramians, and develop variance reduction schemes to improve the quality of the estimates. We conduct large-scale experiments that show a significant improvement in training time and generalization quality compared to traditional sampling methods.

연구 동기 및 목표

• 비선형 임베딩 모델의 훈련에서 관측되지 않은 쌍의 수가 제곱적으로 증가하는 반발력 페널티 항으로 인한 계산의 비현실성 문제를 해결한다.
• 코퍼스 크기가 증가함에 따라 품질이 떨어지고 정확도를 유지하기 위해 큰 샘플 크기를 요구하는 전통적 샘플링 방법의 한계를 극복한다.
• 비선형 모델에서 좌변 및 우변 임베딩 모두가 비선형인 행렬 분해 기반의 그람 행렬 공식을 활용하여, 좌변 및 우변 그람 행렬의 스트로스틱 추정치를 유지함으로써 비선형 모델에 적용한다.
• 샘플 크기를 늘리지 않고도 경사도 정확도를 향상시키기 위해 그람 행렬 추정에 대한 분산 감소 기법을 개발한다.
• 더 나은 전역 페널티 항 추정이 대규모 환경에서 일반화 성능 향상과 더 빠른 수렴을 이끌 수 있음을 입증한다.

제안 방법

• 전역 반발력 페널티를 두 개의 일반화된 그람 행렬 간의 행렬 내적 형태로 재구성함으로써, 행렬 연산을 통한 효율적 경사도 계산이 가능하도록 한다.
• 작은 배치 업데이트를 통해 좌변 및 우변 그람 행렬의 스트로스틱 추정치를 유지하며, 분산을 줄이기 위해 별도의 학습률 α를 사용한다.
• SOGram(Stochastic Optimal Gramian)과 SAGram(Stochastic Averaged Gramian)을 제안하여 그람 행렬의 분산 감소 추정기로 활용하며, SAGram은 과거 추정치의 누적 평균을 사용한다.
• 추정된 그람 행렬를 사용하여 페널티 항의 폐쇄형 경사도를 유도함으로써, 관측되지 않은 쌍의 명시적 샘플링 없이도 엔드 투 엔드 백프로파게이션을 가능하게 한다.
• 추정된 경사도를 표준 SGD 훈련에 통합하여, 관측되지 않은 쌍의 샘플링을 추정된 페널티 항으로 대체한다.
• 편향과 분산을 균형 잡기 위해 그람 행렬 업데이트에 감소하는 학습률을 사용함으로써 수렴성과 최종 모델 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 비선형 임베딩 모델에서 관측되지 않은 쌍의 수를 크게 샘플링하지 않고도 전역 반발력 페널티 항을 효율적으로 추정할 수 있는가?
• RQ2 그람 행렬 추정의 품질이 대규모 임베딩 학습에서 훈련 속도와 일반화 성능에 어떤 영향을 미치는가?
• RQ3 SAGram과 같은 분산 감소 기법이 비선형 모델에서 경사도 추정의 안정성과 정확도를 향상시킬 수 있는가?
• RQ4 그람 행렬 추정에서 편향과 분산의 상호 간의 트레이드오프는 무엇이며, 이는 모델 수렴성과 최종 성능에 어떤 영향을 미치는가?
• RQ5 매우 큰 코퍼스에서 훈련 시간과 일반화 성능 측면에서 제안된 방법이 샘플링 기반 접근보다 더 잘 스케일링되는가?

주요 결과

• 영어 데이터셋에서 SOGram은 기준 샘플링 방법에 비해 최대 33.2% 높은 최종 검증 Mean Average Precision(MAP)를 기록했으며, 2시간 훈련 예산으로도 50시간 훈련한 샘플링 방법을 초월했다.
• 프랑스어 데이터셋에서는 SOGram이 샘플링 방법에 비해 검증 MAP를 30.7% 향상시켜 대규모 코퍼스에서의 뚜렷한 성능 향상을 입증했다.
• 배치 크기가 128인 SOGram은 배치 크기가 1024인 샘플링 방법과 비교해 그람 행렬 추정 품질이 유사하여 계산 비용을 감소시켰다.
• 편향-분산 트레이드오프는 경험적으로 검증되었으며, 낮은 학습률(α = 0.001)은 더 나은 최종 성능를 제공하지만 초기 수렴 속도는 느리며, 높은 α 값은 편향을 줄이지만 분산을 증가시킨다.
• SOGram은 일반화 성능 향상에 기여하면서도 훈련 세트 성능을 떨어뜨리지 않아, 전역 페널티 항의 더 나은 추정이 정규화 역할을 한다는 것을 시사한다.
• 아블레이션 연구에서 SAGram은 추정 오차 측면에서 샘플링과 SOGram을 모두 능가하는 가장 정확한 그람 행렬 추정치를 제공했지만, 메모리 비용이 더 높았다.