[논문 리뷰] Parallel Scheduled Sampling

Daniel Duckworth, Arvind Neelakantan외 3명|arXiv (Cornell University)|2019. 06. 11.

Multimodal Machine Learning Applications참고 문헌 25인용 수 12

한 줄 요약

이 논문은 자동회귀 모델에서 학습-테스트 분포 간 격리 문제를 줄이는 데 성능을 발휘하는 '병렬 스케줄링 샘플링(Parallel Scheduled Sampling)'을 소개한다. 이 기법은 순차적 처리의 성능 저하 문제를 제거하면서도, 스케줄링 샘플링의 이점을 그대로 유지하는 완전히 병렬화 가능한 기법이다. 모델 예측을 병렬로 생성하고, 학습 가능한 확률 스케줄을 사용해 예측값과 진짜 타겟 토큰을 혼합함으로써, 이미지 생성, 요약, 대화 생성 등의 작업에서 최신 기준 성능을 달성한다. 특히, 티처포싱 대비 FID는 최대 20% 향상되고, IS는 13.8% 향상된다.

ABSTRACT

Auto-regressive models are widely used in sequence generation problems. The output sequence is typically generated in a predetermined order, one discrete unit (pixel or word or character) at a time. The models are trained by teacher-forcing where ground-truth history is fed to the model as input, which at test time is replaced by the model prediction. Scheduled Sampling aims to mitigate this discrepancy between train and test time by randomly replacing some discrete units in the history with the model's prediction. While teacher-forced training works well with ML accelerators as the computation can be parallelized across time, Scheduled Sampling involves undesirable sequential processing. In this paper, we introduce a simple technique to parallelize Scheduled Sampling across time. Experimentally, we find the proposed technique leads to equivalent or better performance on image generation, summarization, dialog generation, and translation compared to teacher-forced training. In dialog response generation task, Parallel Scheduled Sampling achieves 1.6 BLEU score (11.5%) improvement over teacher-forcing while in image generation it achieves 20% and 13.8% improvement in Frechet Inception Distance (FID) and Inception Score (IS) respectively. Further, we discuss the effects of different hyper-parameters associated with Scheduled Sampling on the model performance.

연구 동기 및 목표

• 학습 시 티처포싱를 사용하지만 추론 시 자동회귀 디코딩을 사용하는 자동회귀 시퀀스 생성에서 발생하는 학습-테스트 불일치 문제를 해결한다.
• 긴 시퀀스와 큰 모델에서 스케줄링 샘플링의 순차적 처리로 인한 계산 성능 저하 문제를 해결한다.
• 스케줄링 샘플링의 경험적 성능 이점을 유지하면서도 완전히 병렬화 가능한 대안을 개발한다. 이는 현대 머신러닝 가속기에서 효율적인 학습을 가능하게 한다.
• 제안된 방법이 다양한 시퀀스 생성 작업, 특히 이미지 생성과 대화 응답 모델링에서 티처포싱 및 스케줄링 샘플링과 비교해 우수하거나 유사한 성능을 달성함을 입증한다.

제안 방법

• 진짜 입력 컨텍스트를 사용해 모델 예측의 전체 시퀀스를 병렬로 생성한다. 이는 티처포싱 전방전파와 동일하다.
• 각 타임스텝 t의 토큰이 학습 가능한 확률 스케줄에 따라 진짜 타겟 또는 모델의 예측 토큰 중 하나로부터 독립적으로 선택되는 병렬 혼합 연산을 적용한다.
• 시간이 지남에 따라 증가하는 학습 가능한 혼합 확률를 사용하여, 원래 스케줄링 샘플링의 커리큘럼 학습 스케줄을 모방한다.
• 혼합된 시퀀스를 입력으로 사용해 표준 티처포싱 학습을 수행함으로써 전체 시퀀스를 거쳐 역전파를 수행한다.
• 모델이 진짜 자동회귀 디코딩에 가까운 분포로 수렴할 수 있도록 예측 및 혼합 단계를 여러 번 반복한다.
• 학습 안정성을 높이기 위해 초기 단계에서는 티처포싱를 사용하는 웜업 단계를 도입한다.

실험 결과

연구 질문

• RQ1 스케줄링 샘플링을 성능 손실 없이 병렬화할 수 있는가? 자동회귀 모델에서 학습-테스트 분포 격리 문제를 줄이는 데 효과를 유지할 수 있는가?
• RQ2 제안된 병렬화 기법은 대규모 모델에서 효율적인 학습을 가능하게 하면서도 스케줄링 샘플링의 성능 향상 효과를 유지하는가?
• RQ3 혼합 확률 및 반복 횟수와 같은 하이퍼파rameter가 다양한 시퀀스 생성 작업에서 모델 성능에 미치는 영향은 어떠한가?
• RQ4 어떤 상황에서 병렬 스케줄링 샘플링이 티처포싱를 능가하며, 그 효과의 한계는 어디까지인가?
• RQ5 긴 시퀀스 작업, 예를 들어 요약 및 이미지 생성과 같이 순차적 스케줄링 샘플링이 비현실적인 과제에 대해 이 방법이 효과적으로 적용될 수 있는가?

주요 결과

• CIFAR-10 이미지 생성 작업에서 병렬 스케줄링 샘플링은 티처포싱 대비 FID를 20% 향상시키고, IS를 13.8% 향상시켰다.
• 대화 응답 생성 작업에서 이 방법은 티처포싱 대비 BLEU 점수를 1.6점 향상시켰다(상대적 향상 11.5%).
• 요약 작업에서 병렬 스케줄링 샘플링은 기본 모델에서 빔 서치 및 그레디 디코딩, 더 큰 모델에서는 그레디 디코딩에서도 티처포싱를 능가했다.
• 학습 시간을 순차적 스케줄링 샘플링이 요구하는 시간의 0.3%로 줄여, 큰 모델과 긴 시퀀스에 대해 실용적으로 적용 가능하게 했다.
• 이미지 및 텍스트 작업에서 뚜렷한 성능 향상을 보였지만, 기계 번역(WMT 2014 영어-독일어)에서는 성능 향상이 관찰되지 않았다. 이는 시퀀스 길이가 짧아서일 수 있다.
• 특정 하이퍼파rameter 설정 하에서는 이 방법이 스케줄링 샘플링과 동일하며, 티처포싱와 완전한 자동회귀 디코딩 사이의 보간을 유지한다.