[논문 리뷰] A Simple, Fast Diverse Decoding Algorithm for Neural Generation

Jiwei Li, Will Monroe외 1명|arXiv (Cornell University)|2016. 11. 25.

Natural Language Processing Techniques참고 문헌 46인용 수 227

한 줄 요약

다양성을 촉진하는 빔 서치를 도입하여 형제 간 확장을 페널티로 적용해 다양한 N-best 리스트를 생성하고, 입력마다 다양성 비율을 조정하기 위한 선택적 강화 학습 구성요소를 포함합니다.

ABSTRACT

In this paper, we propose a simple, fast decoding algorithm that fosters diversity in neural generation. The algorithm modifies the standard beam search algorithm by adding an inter-sibling ranking penalty, favoring choosing hypotheses from diverse parents. We evaluate the proposed model on the tasks of dialogue response generation, abstractive summarization and machine translation. We find that diverse decoding helps across all tasks, especially those for which reranking is needed. We further propose a variation that is capable of automatically adjusting its diversity decoding rates for different inputs using reinforcement learning (RL). We observe a further performance boost from this RL technique. This paper includes material from the unpublished script "Mutual Information and Diverse Decoding Improve Neural Machine Translation" (Li and Jurafsky, 2016).

연구 동기 및 목표

• 신경 생성 과제에서 단일 최적 가설로 충분하지 않은 경우 다양한 출력의 필요성에 대한 동기 부여.
• 속도를 저하시키지 않으면서 다양성을 증가시키는 간단하고 빠른 디코딩 수정을 제안하여 배치 GPU 디코딩에 적합하게 한다.
• 대화 응답 생성, 추상 요약, 기계 번역에서의 개선 시연.
• 다양성 비율을 입력마다 자동으로 조정하는 DiverseRL 방법을 강화 학습으로 탐색한다.

제안 방법

• 표준 빔 검색에 intra-sibling 확장을 페널티하는 다양성 항 추가: Ŝ(Y_{t-1}^{k},y_{t}^{k,k′}|x)=S(Y_{t-1}^{k},y_{t}^{k,k′}|x)−γ k′, 여기서 k′은 형제 중 순위이고 γ는 다양성 비율이다.
• 매 단계마다 K 개의 가설을 유지하고 수정된 점수 Ŝ에 따라 상위 K 개를 선택한다.
• 다양한 디코딩을 표준 문장 기반 시스템보다 빠르게 수행하기 위해 GPU에서 배치 디코딩을 가능하게 한다.
• 다양성 RL인 diverseRL를 도입하여 γ(X)를 미리 정의된 집합 Γ에서 선택해 최종 보상(BLEU 등)을 최적화한다.
• 학습 중 인코더–디코더 파라미터를 고정한 채 γ(X)를 학습하기 위해 기준선을 둔 정책 기울기(REINFORCE)를 사용한다.

실험 결과

연구 질문

• RQ1 다양성 촉진 디코딩이 표준 빔 검색에 비해 대화, 요약, MT 등에서 출력 품질을 향상시키는가?
• RQ2 다양성 비율 γ가 성능에 어떤 영향을 미치며 입력별로 γ를 학습하면 추가적인 이득이 있는가?
• RQ3 특히 재랭킹되거나 다양한 정답 출력이 존재하는 경우 어떤 과제에서 다양한 디코딩이 가장 큰 이점을 제공하는가?

주요 결과

설정	바닐라 빔	다양함	다양함+RL	Δ 대 바닐라 (다양함)	Δ 대 바닐라 (다양함+RL)
5.3.3 WMT'14 English→German	19.8	19.8	20.2	+0.0	+0.4
Non-Reranking (reduced)	21.5	22.1	22.4	+0.6	+0.9

• 다양한 디코딩은 대화 응답 생성, 추상 요약, 기계 번역 전반에서 출력 품질을 향상시키며, 재랭킹되거나 다양한 정답 출력이 존재할 때 특히 그렇다.
• 고정된 다양성 비율 γ는 여러 과제에서 이득을 주며, 더 긴 출력이나 재랭킹된 출력에서 더 큰 이점을 보인다.
• DiverseRL은 입력마다 γ(X)를 자동으로 조정함으로써 성능을 추가로 향상시키고, 일부 설정에서 BLEU/MIRA 유사 이익을 얻는다.
• 인간 평가에서 다양 디코딩 접근 방식이 표준 빔 서검색보다 응답 생성에서 우수하다고 평가되었다.
• MT에서 다양성의 이점은 더 보수적이며, 목표 분포의 엔트로피가 매우 낮으면 다양성의 영향이 제한된다.