[논문 리뷰] Reinforcement Learning with Large Action Spaces for Neural Machine Translation

Asaf Yehudai, Leshem Choshen외 2명|arXiv (Cornell University)|2022. 10. 06.

Natural Language Processing Techniques인용 수 6

한 줄 요약

이 논문은 신경 기계 번역(NMT)에서 강화학습(RL)을 향상시키기 위해 보다 나은 타겟 임베딩 초기화와 동결을 통해 행동 공간의 유효 크기를 줄이는 방법을 제안한다. 무작위로 초기화된 임베딩 대신 고품질의 BERT 기반 타겟 임베딩을 사용함으로써, RL 미세조정에서 평균 1.5 BLEU 포인트 향상이 이루어지며, 특히 낮은 확률을 가진 토큰에서 유의미한 개선이 나타나, 행동 공간의 복잡성이 NMT에서의 RL에 있어 핵심적 한계임을 입증한다.

ABSTRACT

Applying Reinforcement learning (RL) following maximum likelihood estimation (MLE) pre-training is a versatile method for enhancing neural machine translation (NMT) performance. However, recent work has argued that the gains produced by RL for NMT are mostly due to promoting tokens that have already received a fairly high probability in pre-training. We hypothesize that the large action space is a main obstacle to RL's effectiveness in MT, and conduct two sets of experiments that lend support to our hypothesis. First, we find that reducing the size of the vocabulary improves RL's effectiveness. Second, we find that effectively reducing the dimension of the action space without changing the vocabulary also yields notable improvement as evaluated by BLEU, semantic similarity, and human evaluation. Indeed, by initializing the network's final fully connected layer (that maps the network's internal dimension to the vocabulary dimension), with a layer that generalizes over similar actions, we obtain a substantial improvement in RL performance: 1.5 BLEU points on average.

연구 동기 및 목표

• RL이 이론적으로는 유리한 바에도 불구하고 NMT에서 제한된 성과를 보이는 이유를 탐구하기 위해.
• 큰 행동 공간(어휘 크기)이 NMT에서 효과적인 RL을 방해하는 핵심 장애물임을 규명하기 위해.
• 어휘 크기를 변경하지 않고 행동 공간의 유효 차원을 줄이는 방법을 탐색하기 위해.
• 타겟 임베딩을 초기화하고 동결하는 것이 NMT에서의 RL 성능에 미치는 영향을 평가하기 위해.
• MLE 학습된 타겟 임베딩과 BERT 기반 타겟 임베딩 간의 의미 일반화 능력을 비교하기 위해.

제안 방법

• 표준적으로 무작위로 초기화된 타겟 임베딩 레이어를 BERT 기반 임베딩으로 대체하여 의미 일반화 능력을 향상시키기 위해.
• RL 미세조정 기간 동안 BERT 기반 타겟 임베딩 레이어를 동결하여 학습 안정성과 성능 향상을 도모하기 위해.
• 표준 MLE 임베딩과 BERT 임베딩을 사용한 경우, 동결 여부에 따라 RL 성능을 비교하는 분석 실험을 수행하기 위해.
• 저자원 환경에서 어휘 크기를 줄여 RL 성과에 미치는 영향을 평가하기 위해.
• 어순어, 어형 변화어, 무작위 쌍 등의 단어 쌍에 대해 코사인 유사도를 측정하여 타겟 임베딩의 의미 일반화 능력을 분석하기 위해.
• BLEU 점수를 보상 함수로 사용하는 정책 그래เดียน트 기반 RL을 적용하고, MLE로 사전학습된 NMT 모델을 미세조정하기 위해.

실험 결과

연구 질문

• RQ1 어휘 크기를 줄이면 NMT에서 RL 성능이 향상되는가?
• RQ2 사전 학습된 컨텍스트 임베딩(예: BERT)을 사용해 타겟 임베딩을 초기화하면 RL의 효과성이 향상되는가?
• RQ3 RL 미세조정 중에 타겟 임베딩을 동결하면 성능 향상이 이루어지는가?
• RQ4 BERT 기반 타겟 임베딩은 MLE로 학습된 임베딩보다 의미 유사도를 더 잘 포착하는가?
• RQ5 향상된 타겟 임베딩을 사용한 RL은 MLE 모델이 잘 예측하지 못한 낮은 확률 토큰을 더 잘 최적화하는가?

주요 결과

• 어휘 크기를 줄이면, MLE 모델이 이미 정확하지 않은 경우조차도 RL 미세조정에서 약 1 BLEU 포인트의 상당한 평균 향상이 이루어진다.
• MLE로 학습된 임베딩 대신 BERT 기반 타겟 임베딩을 사용하면 RL 성능에서 평균 1.5 BLEU 포인트 향상이 이루어진다.
• BERT 기반 타겟 임베딩을 RL 학습 중에 동결하면, 초기화만으로도 얻을 수 있는 성능 향상 외에 추가적인 성능 향상이 이루어진다.
• BERT 임베딩은 의미 일반화 능력이 뛰어나, 동의어와 어형 변화어에 대해 구분되는 코사인 유사도 분포를 보이며, 반면 MLE 임베딩은 모든 단어 쌍 유형에서 겹치는 분포를 보인다.
• BERT 기반 임베딩을 사용한 RL은 MLE 사전학습 단계에서 낮은 확률을 가졌던 타겟 토큰의 예측을 향상시키며, 더 넓은 최적화 범위를 제공함을 시사한다.
• BERT 기반 초기화와 타겟 임베딩의 동결을 조합하면 자동 평가 지표(BLEU, 의미 유사도)와 인간 평가 모두에서 일관된 성능 향상이 이루어진다.