[논문 리뷰] Sequence Level Training with Recurrent Neural Networks

Marc’Aurelio Ranzato, Sumit Chopra외 2명|arXiv (Cornell University)|2015. 11. 20.

Topic Modeling참고 문헌 29인용 수 945

한 줄 요약

이 논문은 노출 편향을 줄이고 BLEU 및 ROUGE와 같은 평가 지표를 직접 최적화하는 순서 수준 훈련 방법인 MIXER를 제안한다. 교차 엔트로피 사전 훈련과 점진적인 REINFORCE 기반 정책 학습을 결합함으로써, MIXER는 상태 기반의 탐색 성능을 달성하며, 강력한 기준 모델들과 비해도 뛰어나고, 특히 요약 및 이미지 캡션 생성 작업에서 훨씬 빠른 속도를 보인다.

ABSTRACT

Many natural language processing applications use language models to generate text. These models are typically trained to predict the next word in a sequence, given the previous words and some context such as an image. However, at test time the model is expected to generate the entire sequence from scratch. This discrepancy makes generation brittle, as errors may accumulate along the way. We address this issue by proposing a novel sequence level training algorithm that directly optimizes the metric used at test time, such as BLEU or ROUGE. On three different tasks, our approach outperforms several strong baselines for greedy generation. The method is also competitive when these baselines employ beam search, while being several times faster.

연구 동기 및 목표

• 모델이 훈련 시 참조 입력을 사용하지만 테스트 시 자신의 예측을 기반으로 추론하는 노출 편향 문제를 해결하기 위해.
• 비미분 가능하고 조합적으로 복잡한 순서 수준 평가 지표(예: BLEU 및 ROUGE)를 직접 최적화하기 위해.
• 텍스트 생성에서 일반적인 행동 공간이 넓은 환경에서 효과적인 강화 학습을 가능하게 하기 위해.
• 비용이 많이 드는 비어 스타일 검색을 사용하지 않아도 되는 효과적이고 효율적인 훈련 방법을 개발하기 위해.
• 표준 교차 엔트로피 훈련에 비해 비록 비어 스타일 검색을 결합하더라도 순서 수준 훈련과 정책 최적화가 성능을 뛰어넘을 수 있음을 입증하기 위해.

제안 방법

• MIXER는 교차 엔트로피와 REINFORCE를 조합한 하이브리드 손실을 사용하여 모델을 훈련하며, 무작위 초기화가 아닌 교차 엔트로피 사전 훈련된 정책에서 시작한다.
• 이 방법은 점진적 학습을 활용하여 훈련 중에 점차 모델이 생성한 토큰 비율을 늘려 테스트 시의 행동을 시뮬레이션한다.
• REINFORCE 알고리즘을 사용하여 샘플링된 순서 기반 예상 보상(예: BLEU 또는 ROUGE)을 최적화하며, 비가역적 보상이 필요 없도록 한다.
• 정책 기울기를 추정하기 위해 각 단계당 하나의 샘플만 사용하며, 분산 감소를 위해 기준값을 적용한다.
• 이 방법은 모델에 종속되지 않으며, RNN을 포함한 모든 순서 모델에 적용 가능하며, 모든 가역적 보상 함수에 사용할 수 있다.
• 탐색과 이용의 균형을 확보하고 수렴을 보장하기 위해 그리드 서치를 통해 훈련 스케줄을 최적화한다.

실험 결과

연구 질문

• RQ1 표준 다음 단어 예측 방식과 비교해 강화 학습을 활용한 순서 수준 훈련이 텍스트 생성 품질을 향상시킬 수 있는가?
• RQ2 무작위 정책 초기화 대신 교차 엔트로피 사전 훈련된 정책을 사용하면 큰 행동 공간에서 안정적인 훈련이 가능한가?
• RQ3 MIXER는 성능과 추론 속도 면에서 교차 엔트로피에 비어 스타일 검색을 결합한 강력한 기준 모델을 모두 뛰어넘을 수 있는가?
• RQ4 점진적 학습과 하이브리드 손실의 조합이 노출 편향을 줄이는 데 얼마나 효과적인가?
• RQ5 BLEU 및 ROUGE와 같은 지표를 직접 최적화하는 것이 실질적으로 가능하고 유익한가?

주요 결과

• 요약 작업에서, MIXER는 탐색 방식을 사용해 ROUGE-2 점수 16.22를 기록했으며, XENT 기준 모델(13.01)과 DAD(12.18)를 모두 뛰어넘었다.
• 기계 번역 작업에서, MIXER는 BLEU-4 점수 20.73을 기록했으며, XENT 기준 모델(17.74)과 DAD(20.12)를 초월했다.
• 이미지 캡션 생성 작업에서, MIXER는 BLEU-4 점수 29.16을 기록했으며, XENT(27.8)과 DAD(28.16)를 뛰어넘었다.
• MIXER는 탐색을 사용했을 때 세 가지 작업 중 두 곳에서 XENT에 비어 스타일 검색(k=10)을 적용한 결과를 뛰어넘었으며, 이는 더 뛰어난 효율성과 성능을 보여준다.
• 모든 작업에서 성능을 유지하거나 초월하면서도 비어 스타일 검색(k=10)보다 최소 10배 빠른 속도를 기록했다.
• MIXER에 비어 스타일 검색을 결합하면 성능 향상이 더 가능하지만, 성과는 작업에 따라 다를 것으로 나타나 MIXER와 비어 스타일 검색이 상호 보완적임을 시사한다.