[논문 리뷰] Adaptive Sampled Softmax with Kernel Based Sampling

Guy Blanc, Steffen Rendle|arXiv (Cornell University)|2017. 12. 02.

Domain Adaptation and Few-Shot Learning인용 수 3

한 줄 요약

이 논문은 이차 커널을 사용하여 소프트맥스 분포를 효율적으로 근사하는 커널 기반 샘플링을 제안한다. 이는 O(D log n) 시간 내에 모델 출력에 따라 적응적으로 작동하는 분할 정복 알고리즘을 통해, 균일 샘플링보다 1~2개 정도의 주기수 적은 샘플로 낮은 편향을 가진 학습을 가능하게 한다. 여기서 D는 커널 공간의 차원이다.

ABSTRACT

Softmax is the most commonly used output function for multiclass problems and is widely used in areas such as vision, natural language processing, and recommendation. A softmax model has linear costs in the number of classes which makes it too expensive for many real-world problems. A common approach to speed up training involves sampling only some of the classes at each training step. It is known that this method is biased and that the bias increases the more the sampling distribution deviates from the output distribution. Nevertheless, almost any recent work uses simple sampling distributions that require a large sample size to mitigate the bias. In this work, we propose a new class of kernel based sampling methods and develop an efficient sampling algorithm. Kernel based sampling adapts to the model as it is trained, thus resulting in low bias. Kernel based sampling can be easily applied to many models because it relies only on the model's last hidden layer. We empirically study the trade-off of bias, sampling distribution and sample size and show that kernel based sampling results in low bias with few samples.

연구 동기 및 목표

• 큰 클래스 수가 있는 경우 비소프트맥스 샘플링 분포를 사용할 때 샘플드 소프트맥스의 높은 편향을 해결한다.
• 균일하거나 인기 기반 샘플링의 비효율성을 해결하여, 편향을 줄이기 위해 큰 샘플 크기를 요구하는 문제를 해결한다.
• 학습 중에 모델 출력, 모델 구조 및 파라미터에 따라 적응하는 샘플링 방법을 개발한다.
• 커널 방법과 로그 시간 알고리즘을 활용하여 대규모 다중 클래스 문제에 대해 효율적인 샘플링을 가능하게 한다.
• 커널 기반 샘플링이 표준 방법에 비해 훨씬 적은 샘플로 전체 소프트맥스 품질을 달성할 수 있음을 입증한다.

제안 방법

• 모델의 마지막 히든 레이어 출력에 따라 의존하는 커널 기반 샘플링 분포를 제안하여, 예제, 모델 및 파라미터에 따라 적응하는 샘플링을 가능하게 한다.
• 지수 소프트맥스 함수를 근사하기 위해 이차 커널을 사용하여 커널 공간 내에서 분할 함수를 효율적으로 계산할 수 있도록 한다.
• 커널 공간의 차원 D와 클래스 수 n을 고려할 때 O(D log n) 시간 내에 실행되는 분할 정복 샘플링 알고리즘을 설계한다.
• 커널 기반 샘플링은 학습 기간 동안만 적용하며, 손실 계산에는 전체 지수 소프트맥스를 유지하여 모델 품질을 유지한다.
• 모델의 최종 레이어가 히든 표현과 클래스 임베딩 간의 내적을 가지는 모든 모델에 일반적으로 적용 가능한 방법을 확보한다.
• 커널 성질을 활용하여 학습 단계에서 전체 소프트맥스 계산 없이도 빠른 샘플링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 커널 기반 샘플링은 균일 샘플링 또는 인기 기반 샘플링 대비 샘플드 소프트맥스 학습의 편향을 줄일 수 있는가?
• RQ2 커널 기반 샘플링의 샘플 효율성은 수렴 품질과 속도 측면에서 균일 샘플링에 비해 어떻게 비교되는가?
• RQ3 n >> 10^4개의 클래스를 가진 대규모 다중 클래스 문제에 대해 커널 기반 샘플링을 효율적으로 계산할 수 있는가?
• RQ4 모델 출력에 기반한 적응형 샘플링은 비적응형 샘플링에 비해 수렴 속도 향상 또는 더 나은 일반화 성능을 제공하는가?
• RQ5 컴퓨터 효율성을 유지하면서 커널 기반 샘플링이 전체 소프트맥스 분포를 얼마나 잘 근사할 수 있는가?

주요 결과

• 특히 이차 커널을 사용한 커널 기반 샘플링은 균일 샘플링 대비 편향을 크게 줄이며, 전체 소프트맥스 성능을 1~2개 주기수 적은 샘플로 달성할 수 있다.
• 제안된 분할 정복 샘플링 알고리즘은 O(D log n) 시간 내에 실행되어 큰 클래스 수에 대해 확장 가능하다.
• 모델 출력에 따라 적응하는 샘플링 분포(예: 커널 기반)는 균일하거나 글로벌 인기 기반의 정적 분포에 비해 샘플 효율성이 크게 향상된다.
• 최소한의 샘플링(예: m ≈ 10–50) 조건에서도 커널 기반 샘플링은 전체 소프트맥스와 수렴 품질이 유사한 반면, 균일 샘플링은 유사한 성능을 달성하기 위해 훨씬 큰 m 가 필요하다.
• 편향이 충분히 줄어든 이후에는 샘플 크기를 더 늘려도 수렴 속도 향상가 발생하지 않으며, 이는 더 큰 m 에서의 수익 감소를 시사한다.
• 손실 계산은 전체 소프트맥스를 사용하고 커널은 샘플링에만 적용함으로써, 모델 정확도를 유지하면서도 고품질 출력을 유지한다.