[논문 리뷰] Fast Sequence Generation with Multi-Agent Reinforcement Learning

Longteng Guo, Jing Liu외 2명|arXiv (Cornell University)|2021. 01. 24.

Multimodal Machine Learning Applications참고 문헌 46인용 수 7

한 줄 요약

이 논문은 각 토큰 위치가 BLEU와 같은 문장 수준의 보상에 최적화되는 협동 에이전트로 작동하는, 반사적(Counterfactuals-critical) 다에이전트 강화학습(CMAL)을 사용하는 비자기적 순서 생성 모델을 제안한다. 이 방법은 이미지 캡션 생성 및 기계 번역 벤치마크에서 최신 기술 성능을 달성하면서도 자기를 모델보다 최대 17.46배 빠른 디코딩 속도를 제공하여, 교차 엔트로피로 훈련된 비자기적 모델에 비해 생성 일관성을 크게 향상시킨다.

ABSTRACT

Autoregressive sequence Generation models have achieved state-of-the-art performance in areas like machine translation and image captioning. These models are autoregressive in that they generate each word by conditioning on previously generated words, which leads to heavy latency during inference. Recently, non-autoregressive decoding has been proposed in machine translation to speed up the inference time by generating all words in parallel. Typically, these models use the word-level cross-entropy loss to optimize each word independently. However, such a learning process fails to consider the sentence-level consistency, thus resulting in inferior generation quality of these non-autoregressive models. In this paper, we propose a simple and efficient model for Non-Autoregressive sequence Generation (NAG) with a novel training paradigm: Counterfactuals-critical Multi-Agent Learning (CMAL). CMAL formulates NAG as a multi-agent reinforcement learning system where element positions in the target sequence are viewed as agents that learn to cooperatively maximize a sentence-level reward. On MSCOCO image captioning benchmark, our NAG method achieves a performance comparable to state-of-the-art autoregressive models, while brings 13.9x decoding speedup. On WMT14 EN-DE machine translation dataset, our method outperforms cross-entropy trained baseline by 6.0 BLEU points while achieves the greatest decoding speedup of 17.46x.

연구 동기 및 목표

• 높은 속도를 자랑하지만 문장 수준의 일관성이 떨어지는 비자기적 순서 생성 모델의 디코딩 불일관성 문제를 해결한다.
• BLEU나 CIDEr와 같은 비미분 가능한 문장 수준 지표를 최적화하지 못하는 단일어 단위 교차 엔트로피 손실의 한계를 극복한다.
• 문장 수준의 보상으로 비자기적 모델을 엔드 투 엔드로 최적화하기 위해 강화학습을 활용해 전반적인 일관성을 향상시킨다.
• 생성 품질을 희생시키지 않고 고속 추론을 달성하여 비자기적 모델을 실시간 산업 응용에 활용 가능하게 한다.
• 구조적 일관성을 유지하기 위해 장문의 시퀀스에서 성능을 향상시키기 위해 협동 다에이전트 학습을 활용한다.

제안 방법

• 각 토큰 위치를 에이전트로 간주하는 협동 다에이전트 강화학습(MARL) 시스템으로 비자기적 순서 생성을 공식화한다.
• 자기주의 어텐션을 통해 순서 생성 중 에이전트 간의 소통을 가능하게 하는 공유된 트랜스포머 디코더를 사용한다.
• 전체 문장 품질을 최적화하기 위해 문장 수준의 보상(예: BLEU 또는 CIDEr)을 팀 보상으로 정의한다.
• 다에이전트 신용 할당 문제를 해결하고 훈련을 안정화하기 위해 반사적 기반을 사용한 정책 그래디언트를 적용한다.
• 일반화 및 생성 품질 향상을 위해 훈련 데이터에 레이블이 없는 입력을 보강한다.
• 오직 한 에이전트만 행동을 변경했을 경우의 기대 수익을 추정하는 조합형 반사적 기반을 사용하여 정책 그래디언트 신호의 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 다에이전트 강화학습 프레임워크가 비자기적 순서 생성에서 문장 수준의 일관성을 효과적으로 향상시킬 수 있는가?
• RQ2 정책 그래디언트를 통해 BLEU와 같은 비미분 가능한 문장 수준 지표를 최적화하면 단일어 단위 교차 엔트로피 손실보다 더 나은 생성 품질을 달성할 수 있는가?
• RQ3 제안된 CMAL 방법은 자기를 모델과 비교해 높은 디코딩 속도와 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 장문의 시퀀스에서는 단일어 손실 최적화가 떨어지기 쉬운 상황에서 모델의 성능은 어떠한가?
• RQ5 반사적 기반은 비자기적 순서 생성을 위한 협동 다에이전트 강화학습에서 훈련 안정성과 성능 향상에 기여하는가?

주요 결과

• WMT14 En-De 기계 번역 벤치마크에서 제안된 NAT-CMAL 모델은 교차 엔트로피로 훈련된 기준 모델보다 6.0 BLEU 포인트 높은 성능을 보이며, 동시에 17.46배 빠른 디코딩 속도를 확보했다.
• MSCOCO 이미지 캡션 벤치마크에서 모델는 최신 기술 성능을 자랑하는 자기를 모델과 유사한 성능을 달성했으며, 13.9배의 빠른 디코딩 속도를 기록했다.
• 모델는 다양한 문장 길이에서 안정된 성능을 유지하며, NAT-XE가 급격히 성능이 떨어지는 장문의 문장에서 특히 뛰어난 성능을 보였다.
• 절단 실험 결과, 반사적 기반은 훈련 안정성과 성능 향상에 기여하며, 특히 조합형 반사적 기반을 사용했을 때 최고의 성능를 기록했다.
• 모델의 추론 지연 시간은 문장 길이에 관계없이 거의 일정했으며, GTX 1080 Ti에서 100토큰 문장에 대해 단지 16.4ms에 그쳤다. 이는 자기를 트랜스포머의 거의 1초에 비해 매우 빠른 속도이다.
• 정성적 예시 분석 결과 NAT-CMAL은 NAT-XE에 비해 반복적이고 일관성이 떨어지는 단어의 사용을 줄이며, 자기를 모델에 가까운 품질의 출력을 생성함을 보였다.