[논문 리뷰] Attention Forcing for Sequence-to-sequence Model Training

Qingyun Dou, Yiting Lu외 2명|arXiv (Cornell University)|2019. 09. 26.

Natural Language Processing Techniques참고 문헌 23인용 수 4

한 줄 요약

이 논문은 순차적-순차적 모델의 훈련 안정성과 추론 강인성을 햖스키기 위해 생성된 출력 이력과 참조 어텐션을 조합하는 어텐션 포싱(attention forcing)이라는 훈련 방법을 제안한다. 이는 추론 중 오류 복구 능력을 향상시키며, 히ュ리스틱 스케줄링이나 보조 분류기 없이도 음성 합성에서 뚜렷한 성능 향상을 이끌어내고 기계 번역에서는 일관된 성능 향상을 달성한다.

ABSTRACT

Auto-regressive sequence-to-sequence models with attention mechanism have achieved state-of-the-art performance in many tasks such as machine translation and speech synthesis. These models can be difficult to train. The standard approach, teacher forcing, guides a model with reference output history during training. The problem is that the model is unlikely to recover from its mistakes during inference, where the reference output is replaced by generated output. Several approaches deal with this problem, largely by guiding the model with generated output history. To make training stable, these approaches often require a heuristic schedule or an auxiliary classifier. This paper introduces attention forcing, which guides the model with generated output history and reference attention. This approach can train the model to recover from its mistakes, in a stable fashion, without the need for a schedule or a classifier. In addition, it allows the model to generate output sequences aligned with the references, which can be important for cascaded systems like many speech synthesis systems. Experiments on speech synthesis show that attention forcing yields significant performance gain. Experiments on machine translation show that for tasks where various re-orderings of the output are valid, guiding the model with generated output history is challenging, while guiding the model with reference attention is beneficial.

연구 동기 및 목표

• 교수 강제(teacher forcing) 훈련 동안 오류 전파에 대비하지 못하는 자동회귀 순차적-순차적 모델의 불안정성과 낮은 일반화 능력을 해결하기 위해.
• 히ュ리스틱 스케줄링이나 판별기(Discriminator)가 필요한 스케줄링 샘플링(scheduled sampling)과 교수 포싱(professor forcing)의 한계를 극복하기 위해.
• 특히 텍스트-음성(TTS)과 같은 계단식 시스템에서 입력과 출력 시퀀스 간의 정렬을 더 강인하게 학습할 수 있도록 하기 위해.
• 다양한 유효한 출력 재정렬이 가능한 작업, 예를 들어 기계 번역과 같은 작업에서 생성된 출력이 아닌 참조 어텐션을 사용해 훈련을 이끄는 것이 성능 향상에 더 효과적인지 조사하기 위해.

제안 방법

• 어텐션 포싱은 하이브리드 전략을 사용해 모델을 훈련한다: 디코더 은닉 상태는 생성된 출력 토큰(자유 주행 모드와 유사)를 사용해 업데이트되며, 어텐션 메커니즘은 참조 어텐션 가중치를 기반으로 안내된다.
• 이 방법은 출력 생성과 정렬 학습을 분리함으로써, 모델이 어텐션 정렬을 독립적이고 안정적으로 학습할 수 있도록 한다.
• 어텐션 메커니즘은 교사 강제에서 유도된 참조 정렬 가중치 $\bm{\alpha}_t$를 사용해 컨텍스트 벡터를 계산하며, 디코더 상태 $\hat{\bm{s}}_t$ 는 이전에 생성된 토큰 $\bm{y}_{t-1}$ 을 사용해 업데이트된다.
• 모델은 음성 로그우도(NLL) 손실과 함께 예측된 어텐션과 참조 어텐션 간의 일치를 장려하는 추가적인 어텐션 손실을 함께 최적화한다.
• 계단식 TTS 시스템에서는 먼저 교사 강제 모드에서 사전 훈련한 후, 참조 어텐션을 사용해 어텐션 포싱 모드로 미세조정함으로써, 하류 모델이 상류 오류를 보완할 수 있도록 한다.
• 기계 번역(NMT)의 경우, 생성된 출력의 정렬 오류로 인한 성능 저하를 방지하기 위해 훈련 시 참조 출력과 참조 어텐션을 모두 사용하는 수정된 어텐션 포싱 모드를 사용한다.

실험 결과

연구 질문

• RQ1 히ュ리스틱 스케줄링이나 보조 분류기가 필요 없이 어텐션 포싱이 순차적-순차적 모델의 훈련을 안정화시킬 수 있는가?
• RQ2 생성된 출력 이력과 참조 어텐션을 조합함으로써 추론 중 예측 오류 복구 능력이 향상되는가?
• RQ3 어텐션 정렬 출력을 생성함으로써 어텐션 포싱이 텍스트-음성과 같은 계단식 시스템의 성능 향상에 기여하는가?
• RQ4 다양한 유효한 출력 재정렬이 가능한 작업, 예를 들어 기계 번역과 같은 작업에서 생성된 출력이 아닌 참조 어텐션으로 모델을 이끄는 것이 더 효과적인가?
• RQ5 어텐션 포싱이 자원이 제한된 기계 번역(NMT) 환경에서 어텐션 메커니즘을 정규화하고 정렬 학습을 향상시키는가?

주요 결과

• 음성 합성에서 어テン션 포싱은 음성 품질을 뚜렷이 향상시켰으며, 주관적 평가에서 72%의 쌍별 비교에서 어텐션 포싱 출력을 선호했다.
• 30명의 평가자로 실시한 주관적 听음 테스트에서 어텐션 포싱 TTS 시스템은 교사 강제 모델 대비 더 자연스럽고 표현력 있는 발화를 생성했다.
• 기계 번역(IWSLT 2015 영어-베트남어)에서 참조 어텐션을 사용한 어텐션 포싱은 교사 강제 대비 +0.35 BLEU 점수 향상을 보였으며, 10개 모델 중 9개에서 성능 향상을 기록했다.
• 일관된 BLEU 점수 향상은 참조 어텐션 안내가 유익하며, 재정렬 민감한 작업에서 생성된 출력 이력의 정렬 오류로 인한 성능 저하를 방지함을 시사한다.
• 스케줄링이나 판별기가 필요 없이 안정적인 훈련을 달성했으며, 이는 스케줄링 샘플링이나 교수 포싱과는 대조된다.
• 어텐션 포싱은 계단식 시스템의 하류 모델이 어텐션 정렬 출력을 활용해 오류 보정 능력과 시스템 강인성을 향상시킬 수 있도록 한다.