[논문 리뷰] Differentiable lower bound for expected BLEU score

V. B. Zhukov, Eugène Golikov외 1명|arXiv (Cornell University)|2017. 12. 13.

Topic Modeling참고 문헌 15인용 수 6

한 줄 요약

이 논문은 강화학습에서 요구되는 샘플링이 필요 없이 경량화된 기울기 기반 최적화를 통해 신경 기계 번역 모델의 엔드 투 엔드 훈련을 가능하게 하는 예상 BLEU 점수에 대한 미분 가능한 하한값(LB)을 제안한다. 이 방법은 교차 엔트로피나 REINFORCE 기반 훈련보다 높은 BLEU 점수를 달성하며, IWSLT’14에서 최대 +1.23 BLEU 포인트, WMT’14에서 최대 +1.53 BLEU 포인트의 향상 효과를 보였고, 계산 효율성과 완전한 미분 가능성도 유지한다.

ABSTRACT

In natural language processing tasks performance of the models is often measured with some non-differentiable metric, such as BLEU score. To use efficient gradient-based methods for optimization, it is a common workaround to optimize some surrogate loss function. This approach is effective if optimization of such loss also results in improving target metric. The corresponding problem is referred to as loss-evaluation mismatch. In the present work we propose a method for calculation of differentiable lower bound of expected BLEU score that does not involve computationally expensive sampling procedure such as the one required when using REINFORCE rule from reinforcement learning (RL) framework.

연구 동기 및 목표

• 비미분 가능한 BLEU 지표와 관련된 손실-평가 불일치 문제를 해결하기 위해, BLEU 지표와 상관관계가 높은 대체 손실을 최적화하는 것.
• 강화학습 기반 BLEU 최적화에서 계산 비용이 큰 REINFORCE 스타일의 샘플링이 필요 없도록 하는 것.
• 분산 감소 기법 없이도 예상 BLEU 점수를 근사하는 완전히 미분 가능한 훈련 목표를 개발하는 것.
• 표준 훈련 프로토콜에 단순한 수정을 가하여 순서-순서 번역 모델의 일반화 능력과 최종 BLEU 성능을 향상시키는 것.
• 표준 교차 엔트로피 훈련에서 BLEU 최적화 훈련으로의 매끄러운 전환을 가능하게 하기 위해, 마지막 훈련 단계를 제안된 LB 손실로 대체하는 것.

제안 방법

• 원-핫 인코딩된 단어 시퀀스를 사용하여 행렬 형태로 BLEU 점수를 수식화하고, 행렬 곱셈을 통해 n-gram 겹침을 계산한다.
• 겹침 계산에서 min(1, v_y^n / v_x^n) 항을 근사하여 예상 BLEU 점수에 대한 미분 가능한 하한값(LB)을 정의한다.
• 모델 출력의 함수로서 LB를 구성함으로써 BLEU 계산 그래프를 통해 역전파가 가능하게 한다.
• 훈련 안정성을 향상시키기 위해 정밀도 추정에 덧셈 스무딩을 적용한다: (LB[O_n] + 1) / (len_x - n + 2).
• 후기 훈련 에포크에서 교차 엔트로피 손실을 대체하여 LB 손실을 표준 훈련 파이프라인에 통합한다.
• 표준 순서-순서 모델에 어텐션과 티처 포싱을 적용하고, Adam을 사용하며 REINFORCE에 대해 감소된 초기 학습률을 설정하여 최적화한다.

실험 결과

연구 질문

• RQ1 REINFORCE와 마찬가지로 샘플링이 필요 없이 예상 BLEU 점수에 대한 미분 가능한 하한값을 구성할 수 있는가?
• RQ2 이 하한값을 최적화하면 표준 교차 엔트로피 훈련 대비 더 높은 최종 BLEU 점수를 달성할 수 있는가?
• RQ3 제안된 LB 손실의 성능는 BLEU 향상과 훈련 효율성 측면에서 REINFORCE 기반 직접 BLEU 최적화와 비교해 어떻게 되는가?
• RQ4 LB 손실은 순서 생성 작업에서 손실-평가 불일치 문제를 어느 정도 감소시키는가?
• RQ5 LB 손실은 최소한의 아키텍처 변경으로 표준 훈련 프로토콜에 원활하게 통합될 수 있는가?

주요 결과

• 제안된 미분 가능한 하한값(LB) 손실을 최적화한 결과, IWSLT’14 DE-EN에서 비트 사이즈 1일 때 BLEU 점수 27.83 ± 0.17을 기록하여 교차 엔트로피(26.60 ± 0.14)와 REINFORCE(27.16 ± 0.18)를 모두 초월했다.
• WMT’14 DE-EN에서 LB 손실은 비트 사이즈 1일 때 BLEU 점수 18.65 ± 0.13을 기록하여 교차 엔트로피(17.12 ± 0.2)를 뛰어넘었으며, 더 큰 데이터셋에서도 일관된 성능 향상을 보였다.
• 비트 사이즈 5일 때, LB 손실은 WMT’14에서 BLEU 점수 19.23 ± 0.19를 기록하여 교차 엔트로피(19.03 ± 0.15)를 略로 뛰어넘었으며, 더 높은 비트 사이즈에서의 강건성 향상을 시사했다.
• LB 손실은 강화학습에서 분산 감소 기법과 샘플링이 필요 없게 하여 훈련 파이프라인을 단순화시켰다.
• 이 방법은 교차 엔트로피 및 REINFORCE 기반 베이스라인보다 더 높은 BLEU 점수를 달성했으며, IWSLT’14에서 최대 +1.23 BLEU 포인트의 향상 효과를 보였다.
• LB 손실은 계산적으로 효율적이며 완전히 미분 가능했으며, 샘플링이나 복잡한 정규화 기법을 도입하지 않고도 엔드 투 엔드 훈련을 가능하게 했다.