[논문 리뷰] When to Finish? Optimal Beam Search for Neural Text Generation (modulo beam size)

Liang Huang, Kai Zhao외 1명|arXiv (Cornell University)|2018. 08. 31.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 신경망 텍스트 생성을 위한 증명 가능 최적의 비트 서치 알고리즘을 제안하며, 비트 크기에 따라 가장 높은 점수를 가진 완전한 가설을 보장하기 위해 비트 서치를 언제 종료할지 동적으로 결정함으로써, 불필요한 계산 없이 최적성을 확보한다. 또한 신경망 모델이 너무 짧은 출력을 생성하는 경향을 보완하기 위해 길이에 제한이 있는 보상 메커니즘을 도입하여, 길이 정규화가 적용된 상황에서도 최적의 성능을 달성할 수 있도록 하며, 기계 번역 작업에서 기존 방법들에 비해 일관된 BLEU 점수 향상을 입증한다.

ABSTRACT

In neural text generation such as neural machine translation, summarization, and image captioning, beam search is widely used to improve the output text quality. However, in the neural generation setting, hypotheses can finish in different steps, which makes it difficult to decide when to end beam search to ensure optimality. We propose a provably optimal beam search algorithm that will always return the optimal-score complete hypothesis (modulo beam size), and finish as soon as the optimality is established (finishing no later than the baseline). To counter neural generation's tendency for shorter hypotheses, we also introduce a bounded length reward mechanism which allows a modified version of our beam search algorithm to remain optimal. Experiments on neural machine translation demonstrate that our principled beam search algorithm leads to improvement in BLEU score over previously proposed alternatives.

연구 동기 및 목표

• 기존의 비트 서치 전략이 신경망 텍스트 생성에서 이론적 최적성에 결여되어 있는 문제를 해결하기 위해, 가설이 서로 다른 단계에서 종료될 수 있는 상황을 다루는 것.
• 가설이 언제 종료되든 간에 최적 점수를 가진 완전한 가설이 반환됨을 보장하는 비트 서치 알고리즘을 개발하는 것.
• 최적성과 길이 정규화 또는 길이 보상의 필요성 간의 갈등을 해결하여, 일반적으로 최적 비트 서치를 무효화하는 문제를 해결하는 것.
• 최적성을 유지하면서 너무 짧은 가설 생성 경향을 완화할 수 있는 길이에 제한이 있는 보상 메커니즘을 도입하는 것.
• 강력한 기준 모델들에 비해 신경 기계 번역 작업에서 제안된 방법의 실증적 성능을 검증하는 것.

제안 방법

• 비트 크기 b를 유지하면서 모든 단계에서 가장 높은 점수를 가진 완전한 가설을 동적으로 추적하는 비트 서치 변종을 제안하여, 조기 종료를 방지함으로써 최적성을 보장한다.
• 현재 비트에서 가장 높은 점수를 가진 완전한 가설이 최적임이 보장되는지 확인하는 종료 조건을 도입하며, 이는 가장 높은 점수를 가진 불완전한 가설의 점수에 기반한다.
• 최대 한계에 도달할 때까지만 보상이 적용되는 길이에 제한이 있는 보상 메커니즘을 사용하여, 비트 서치 알고리즘의 최적성을 유지한다.
• 사전에 정의된 값 이하로만 길이 기반 보상을 적용하는 가설 점수 함수를 수정함으로써, 짧은 시퀀스에 대한 과도한 페널티를 방지한다.
• 동적 정지 규칙을 적용: 비트 서치는 불완전한 가설의 확장으로도 현재 비트에서 가장 높은 점수를 가진 완전한 가설을 능가할 수 없을 때에만 종료된다.
• 길이에 제한이 있는 보상 메커니즘을 비트 서치 점수 함수에 통합하면서, 점수 전파와 절단 과정을 신중히 설계하여 알고리즘의 이론적 최적성을 유지한다.

실험 결과

연구 질문

• RQ1 가설이 서로 다른 단계에서 종료될 수 있는 상황에서도 최적 점수를 가진 완전한 가설을 보장할 수 있는 비트 서치 알고리즘을 설계할 수 있는가?
• RQ2 신경망 텍스트 생성에서 흔히 발생하는 너무 짧은 출력 생성 문제를 해결하면서도 비트 서치를 최적으로 유지할 수 있는가?
• RQ3 비트 서치에서 길이 정규화나 길이 보상이 사용될 경우 반드시 최적성을 해치는가? 만약 그렇다면 이를 어떻게 해결할 수 있는가?
• RQ4 비트 서치의 최적성을 유지하면서도 생성된 출력의 유창성과 길이를 향상시킬 수 있는 길이에 제한이 있는 보상 메커니즘을 설계할 수 있는가?
• RQ5 제안된 최적 비트 서치에 길이에 제한이 있는 보상 메커니즘을 적용했을 때, 신경 기계 번역에서 BLEU와 같은 표준 평가 지표에 어떤 실증적 영향을 미치는가?

주요 결과

• 제안된 최적 비트 서치 알고리즘은 비트 크기 15일 때 그레디 서치(비트 크기 1)보다 +5.0 BLEU 향상률을 기록하며, 모든 기준보다 뛰어난 성능을 보였다.
• 테스트 세트에서 비트 크기 15와 길이 보상 r=1.2일 때 30.61 BLEU를 기록하여, OpenNMT-py의 기본 비트 서치(29.75 BLEU)와 길이 보상이 적용된 수축 비트 서치 방법(30.37 BLEU)을 모두 초월했다.
• 순수한 최적 비트 서치는 비트 크기가 4를 초과하면 매우 짧은 번역으로 인해 성능이 떨어지므로, 길이 정규화의 필요성을 입증한다.
• r=1.2와 b=15일 때 길이에 제한이 있는 보상 메커니즘이 가장 뛰어난 성능을 보였으며, 길이 비율 0.97을 기록하여 최적성을 유지하면서도 유창성을 향상시켰다.
• 이 방법은 강력한 Moses SMT 시스템(29.41 BLEU)과 RNNsearch 기준 모델(30.70 BLEU)을 모두 능가하여 신경망 생성에서의 우수성을 입증했다.
• OpenNMT-py의 기준 비트 서치 코드에서 별도의 버그 수정이 발견되었으며, 이는 모든 설정에서 BLEU 점수를 +0.7 향상시켰고, 제안된 방법의 견고성을 더욱 확인시켰다.