[논문 리뷰] TAPAS: Two-pass Approximate Adaptive Sampling for Softmax

Yu Bai, Sally A. Goldman외 1명|arXiv (Cornell University)|2017. 07. 10.

Machine Learning and Algorithms참고 문헌 15인용 수 5

한 줄 요약

TAPAS는 대규모 어휘 소프트맥스 모델을 효율적으로 훈련하기 위해 이중 단계 근사 적응형 샘플링 방법을 제안한다. 먼저 사전에 정해진 분포에서 샘플링하고, 이후 컨텍스트와 모델 파라미터를 바탕으로 딱딱한 음성 레이블을 적응적으로 재샘플링함으로써, 계산 오버헤드를 최소화하면서도 랭킹 손실을 크게 향상시킨다. 합성 및 실세계 데이터셋에서 검증되었으며, 최대 30% 향상된 MAP 성능을 기록하였다.

ABSTRACT

TAPAS is a novel adaptive sampling method for the softmax model. It uses a two pass sampling strategy where the examples used to approximate the gradient of the partition function are first sampled according to a squashed population distribution and then resampled adaptively using the context and current model. We describe an efficient distributed implementation of TAPAS. We show, on both synthetic data and a large real dataset, that TAPAS has low computational overhead and works well for minimizing the rank loss for multi-class classification problems with a very large label space.

연구 동기 및 목표

• 대규모 어휘 소프트맥스 모델에서 분할 함수 계산의 높은 계산 비용을 해결하기 위해.
• 매우 큰 레이블 공간을 가진 다중 클래스 분류에서 훈련 효율성과 랭킹 성능을 향상시키기 위해.
• 컨텍스트와 모델 상태를 바탕으로 딱딱한 음성 샘플을 적응적으로 선택하는 샘플링 전략을 개발하기 위해.
• 특히 MAP와 같은 랭킹 기반 지표에서 정확도를 유지하거나 향상시키면서도 계산 오버헤드를 최소화하기 위해.

제안 방법

• TAPAS는 이중 단계 샘플링 전략을 사용한다: 먼저 사전 정의된 분포(예: 유니그램 또는 힘의 법칙)에서 샘플링하고, 이후 예측 로지트를 바탕으로 더 작은 부분집합을 적응적으로 재샘플링한다.
• 적응형 재샘플링은 주어진 컨텍스트에서 더 높은 예측 확률을 가진 레이블에 집중하여 딱딱한 음성 샘플을 강조한다.
• GPU 가속과 분산 훈련 플랫폼을 활용하여 계산 오버헤드를 최소화한다.
• 기존의 샘플드 소프트맥스 및 중요도 기반 샘플링 프레임워크와 호환되며, 적응형 샘플링을 통해 이를 향상시킨다.
• TensorFlow에 구현되어 있으며, 대규모 딥러닝 파이프라인에 통합하기 위해 설계되었다.
• 샘플링 과정은 분할 함수의 기울기를 오직 적응형 부분집합을 사용하여 근사함으로써 계산을 줄인다.

실험 결과

연구 질문

• RQ1 이중 단계 샘플링 전략은 계산 비용을 최소화하면서도 대규모 어휘 소프트맥스 모델에서 랭킹 성능을 향상시킬 수 있는가?
• RQ2 컨텍스트와 모델 파rameter를 기반으로 한 적응형 재샘플링은 고정되거나 균일한 샘플링과 비교해 랭킹 손실에 어떤 영향을 미치는가?
• RQ3 TAPAS는 정확도를 유지하거나 향상시키면서 훈련 오버헤드를 어느 정도 줄일 수 있는가?
• RQ4 TAPAS는 전체 소프트맥스 손실보다 랭킹 기반 지표인 MAP에 더 잘 최적화되는가?

주요 결과

• 겹치는 클러스터가 있는 합성 데이터셋에서 TAPAS는 재샘플 크기 r을 증가시킬수록 정확도를 향상시켰으며, n=128, r=4는 n=512, r=1과 유사한 정확도를 달성했지만 4배 빠른 속도를 기록했다.
• 50만 개의 항목을 가진 실세계 영상 추천 데이터셋에서 TAPAS는 n=1000, r=8로 설정했을 때 MAP@20 점수가 0.068를 기록하여, n=1000, r=1일 때의 0.050보다 30% 향상된 성능을 보였다.
• 더 작은 사전 샘플 크기임에도 불구하고 TAPAS(n=1000, r=8)는 더 큰 기준 모델(n=8000, r=1)을 능가하여 더 높은 MAP(0.068 vs. 0.067)와 더 나은 속도를 기록했다.
• r을 1에서 8로 증가시킬 때 오직 10%의 오버헤드만 발생하여, 적응형 샘플링임에도 불구하고 낮은 계산 비용을 입증했다.
• MAP에서의 상당한 향상에도 불구하고 전체 소프트맥스 손실은 약간 증가(9.10에서 9.34로)하여, TAPAS가 교차 엔트로피 손실이 아닌 랭킹 손실을 최적화한다는 점을 시사한다.