[논문 리뷰] A Stable and Effective Learning Strategy for Trainable Greedy Decoding

Yun Chen, Victor O. K. Li외 2명|arXiv (Cornell University)|2018. 04. 21.

Natural Language Processing Techniques참고 문헌 37인용 수 5

한 줄 요약

이 논문은 기저 모델의 약간의 추가 계산 비용과 훈련 시간으로도, 기저 모델의 beam search 출력에서 유도된 가짜 평행 코퍼스를 사용하여 훈련된 소형 액터 네트워크를 통해 탐욕적 디코딩의 품질을 향상시키는 안정적이고 효율적인 방법을 제안한다. 액터 네트워크는 BLEU와 같은 메트릭에 의해 순위가 매겨진 고성능 시퀀스에서 표준 backpropagation를 통해 훈련되며, 이로 인해 번역 품질에서 상당한 향상이 이루어지며, beam search 성능을 도달하거나 초월함과 동시에 탐욕적 디코딩의 속도를 유지하고 추가 계산 비용이 최소화된다.

ABSTRACT

Beam search is a widely used approximate search strategy for neural network decoders, and it generally outperforms simple greedy decoding on tasks like machine translation. However, this improvement comes at substantial computational cost. In this paper, we propose a flexible new method that allows us to reap nearly the full benefits of beam search with nearly no additional computational cost. The method revolves around a small neural network actor that is trained to observe and manipulate the hidden state of a previously-trained decoder. To train this actor network, we introduce the use of a pseudo-parallel corpus built using the output of beam search on a base model, ranked by a target quality metric like BLEU. Our method is inspired by earlier work on this problem, but requires no reinforcement learning, and can be trained reliably on a range of models. Experiments on three parallel corpora and three architectures show that the method yields substantial improvements in translation quality and speed over each base system.

연구 동기 및 목표

• 강화학습의 불안정성 문제를 피하면서, 훈련 가능한 탐욕적 디코딩을 위한 안정적이고 효과적인 학습 전략을 개발하는 것.
• 추론 비용을 증가시키지 않고도 탐욕적 디코딩의 품질을 향상시켜 beam search 성능을 도달하거나 초월하는 것.
• 기본 모델을 재학습하지 않고도 다양한 아키텍처와 메트릭에 적용 가능한 방법을 제공하는 것.
• 기본 모델의 beam search 출력에서 신뢰할 수 있고 고품질의 가짜 평행 코퍼스를 생성하는 것.
• 단 몇 개의 추가 파라미터만으로도 BLEU, METEOR, TER와 같은 번역 메트릭에서 상당한 향상을 달성할 수 있음을 입증하는 것.

제안 방법

• 추론 중에 사전에 훈련된 디코더의 은닉 상태를 관찰하고 수정할 수 있는 소형 액터 네트워크를 훈련한다.
• 기본 모델에 대해 큰 빔 크기로 beam search를 실행하고, 목표 메트릭(예: BLEU)에 따라 순위가 매겨진 상위-k 출력을 선택하여 가짜 평행 코퍼스를 구성한다.
• 선택된 고품질 출력을 지도 학습 데이터로 사용하여 표준 backpropagation을 통해 액터 네트워크를 훈련한다.
• 훈련된 액터 네트워크를 추론 파이프라인에 통합하여 수정된 은닉 상태를 사용해 탐욕적 디코딩을 안내한다.
• RNN, ConvS2S, Transformer 모델에 적용하여 아키텍처 독립성을 확보한다.
• 기본 모델 전용 인공 데이터셋에서 표준 backpropagation을 사용하여 액터 네트워크를 훈련함으로써 강화학습을 피한다.

실험 결과

연구 질문

• RQ1 추론 비용을 증가시키지 않고도, 훈련 가능한 액터 네트워크가 탐욕적 디코딩 성능을 상당히 향상시킬 수 있는가?
• RQ2 강화학습을 사용하지 않고도 이러한 액터 네트워크를 안정적이고 효과적으로 훈련할 수 있는가?
• RQ3 가짜 평행 코퍼스의 품질이 최종 디코딩 성능에 어떤 영향을 미치는가?
• RQ4 이 방법은 다양한 신경 시퀀스 모델과 평가 메트릭에 일반화될 수 있는가?
• RQ5 탐욕적 디코딩의 속도를 유지하면서도, beam search 성능을 도달하거나 초월할 수 있는가?

주요 결과

• IWSLT16 독일어-영어 데이터셋에서, Transformer 모델을 사용한 결과, 28.36 BLEU 점수를 기록하여, 동일한 목표 함수로 훈련된 탐욕적 디코딩(27.15 BLEU)과 beam search(28.74 BLEU)를 모두 초월하였다.
• WMT14 독일어-영어 데이터셋에서, METEOR(MTR) 점수는 탐욕적 디코딩 대비 0.7 포인트 향상되었고, beam search 대비 0.3 포인트 향상되었다.
• -sTER 목표 함수로 훈련한 결과, 문장 수준의 TER는 beam search 대비 0.5 포인트 감소했고, 탐욕적 디코딩 대비 3.0 포인트 감소하였다.
• RNN, ConvS2S, Transformer의 세 아키텍처 전반에서 성능 향상이 일관되게 관찰되어 광범위한 적용 가능성을 입증하였다.
• 단 몇 개의 추가 파라미터와 최소한의 훈련 시간으로 이러한 향상을 달성하였으며, 불안정한 강화학습 대신 표준 backpropagation를 사용하였다.
• 고성능 beam search 출력 기반의 가짜 평행 코퍼스 구성 전략은 다양한 데이터셋과 모델에서 효과적이며 확장 가능함을 입증하였다.