[논문 리뷰] Scheduled Sampling for Sequence Prediction with Recurrent Neural Networks

Samy Bengio, Oriol Vinyals외 2명|arXiv (Cornell University)|2015. 06. 09.

Multimodal Machine Learning Applications참고 문헌 25인용 수 1,261

한 줄 요약

이 논문은 순환 신경망을 위한 시퀀스 예측 훈련 중에 지도 학습에서 자가 생성으로 점진적으로 전환하는 커리큘럼 학습 방법인 Scheduled Sampling을 제안한다. 이는 훈련-추론 분포 간 격차를 해소하여 오류 누적을 줄이고 이미지 캡션 생성 및 음성 인식과 같은 작업에서 성능을 향상시키며, 표준 훈련 대비 디코딩 정확도에서 뚜렷한 향상을 이룬다.

ABSTRACT

Recurrent Neural Networks can be trained to produce sequences of tokens given some input, as exemplified by recent results in machine translation and image captioning. The current approach to training them consists of maximizing the likelihood of each token in the sequence given the current (recurrent) state and the previous token. At inference, the unknown previous token is then replaced by a token generated by the model itself. This discrepancy between training and inference can yield errors that can accumulate quickly along the generated sequence. We propose a curriculum learning strategy to gently change the training process from a fully guided scheme using the true previous token, towards a less guided scheme which mostly uses the generated token instead. Experiments on several sequence prediction tasks show that this approach yields significant improvements. Moreover, it was used successfully in our winning entry to the MSCOCO image captioning challenge, 2015.

연구 동기 및 목표

• 훈련 시 참조 토큰을 사용하지만 추론 시 모델이 생성한 토큰을 사용하는 RNN을 통한 시퀀스 예측에서 훈련-추론 간 격차를 해소하기 위해.
• 자기 생성 모델이 생성한 예측을 훈련 중에 처리하도록 모델을 훈련시켜 순차적 생성에서 오류 전파를 줄이기 위해.
• 기계 번역, 이미지 캡션 생성, 음성 인식과 같은 시퀀스 생성 작업에서 일반화 능력과 강인성을 향상시키기 위해.
• 감독 학습에서 자가 생성으로 점진적으로 전환하는 훈련 전략을 개발하여 실제 추론 조건을 모방하기 위해.

제안 방법

• Scheduled Sampling은 각 시간 단계에서 참조 토큰을 사용할지 모델 예측을 사용할지 제어하는 샘플링 확률 εt를 도입한다.
• 샘플링 확률 εt는 훈련 과정 동안 초기 값 εs에서 최종 값 εe로 선형적으로 감소하여, 처음에는 완전한 감독 학습에서 점차 자가 생성으로 전환된다.
• 각 훈련 단계 t에서 RNN의 입력은 확률 εt로 참조 이전 토큰이 되거나, 확률 1−εt로 모델의 예측 토큰이 된다. 이는 커리큘럼 유사한 훈련 스케줄을 만든다.
• 모델은 이 확률적 입력 스케줄 하에서 목표 시퀀스의 가능도를 최대화하도록 훈련되며, 이는 오류를 보정할 수 있도록 훈련 중에 학습할 수 있도록 한다.
• 이 방법은 LSTM 유닛을 갖는 RNN에 적용되며, 은닉 상태는 이전 은닉 상태와 현재 입력 토큰(참조 또는 예측)에 기반해 업데이트된다.
• 추론 시에는 모델이 오직 자신의 예측만 사용하며, 실제 배포 조건을 시뮬레이션한다. 반면 훈련 과정은 점진적인 커리큘럼 스케줄링을 통해 이 전환에 대비하도록 준비된다.

실험 결과

연구 질문

• RQ1 훈련 중에 참조 토큰을 점진적으로 모델 예측으로 대체하는 커리큘럼 학습 전략이 시퀀스 생성 성능을 향상시킬 수 있는가?
• RQ2 Scheduled Sampling은 추론 조건을 더 잘 반영하도록 훈련함으로써 순차적 RNN에서 오류 누적을 줄일 수 있는가?
• RQ3 Scheduled Sampling의 성능는 표준 티처 포싱과 완전한 자가 감독 학습에 비해 시퀀스 예측 작업에서 어떻게 비교되는가?
• RQ4 다양한 샘플링 스케줄(예: ε의 선형 감소)이 모델의 일반화 능력과 디코딩 정확도에 어떤 영향을 미치는가?

주요 결과

• Scheduled Sampling는 MSCOCO 이미지 캡션 도전 대회에서 뚜렷한 성능 향상을 보이며 2015년 우승 기여를 하였다.
• HMM 정렬 상태를 사용한 음성 인식에서, 베이스라인 모델은 다음 단계 예측 FER이 15.0%였지만 디코딩 FER은 46.0%였으며, 이는 추론 조건 하에서의 일반화 능력 부족을 시사한다.
• '항상 샘플링' 모델(ε=0)은 다음 단계 예측 FER이 더 나쁘지만(46.0% 대비 35.8%), 디코딩 FER은 35.8%로 베이스라인보다 우수하여 자가 감독 훈련이 강인성을 향상시킨다는 것을 보여준다.
• 최적의 Scheduled Sampling 설정(εs=0.5, εe=0)은 디코딩 FER 35.0%를 기록하여 베이스라인을 능가하였으며, 점진적 커리큘럼 훈련이 추론 성능 향상에 기여한다는 것을 입증한다.
• 가장 공격적인 스케줄(εs=0.9, εe=0.5)을 사용한 모델는 다음 단계 FER이 19.8%로 높았지만 디코딩 FER은 42.0%로 높아, 너무 이른 시점의 샘플링이 훈련 안정성에 악영향을 준다는 것을 시사한다.
• 결과적으로 Scheduled Sampling는 훈련과 추론 간 분포 격차를 효과적으로 줄여 시퀀스 생성 작업에서 더 나은 일반화를 이끌어낸다.