[논문 리뷰] Non-Autoregressive Image Captioning with Counterfactuals-Critical Multi-Agent Learning

Longteng Guo, Jing Liu외 4명|arXiv (Cornell University)|2020. 05. 10.

Multimodal Machine Learning Applications참고 문헌 25인용 수 11

한 줄 요약

이 논문은 정반대적 기반 다중 에이전트 강화학습(CMAL)을 사용하는 비자기적 이미지 캡션 생성 모델을 제안한다. 문장의 위치는 정책 그래เดียน트를 통해 문장 수준의 보상 최적화를 수행하는 협동 에이전트로 간주된다. 신뢰도 할당 문제를 해결하기 위해 에이전트별 정반대 기반을 도입함으로써, 자동 생성 모델과 유사한 최상의 성능을 달성하면서도 13.9배 빠른 추론 속도를 확보하였으며, 레이블이 없는 이미지를 활용해 정확도를 추가로 향상시켰다.

ABSTRACT

Most image captioning models are autoregressive, i.e. they generate each word by conditioning on previously generated words, which leads to heavy latency during inference. Recently, non-autoregressive decoding has been proposed in machine translation to speed up the inference time by generating all words in parallel. Typically, these models use the word-level cross-entropy loss to optimize each word independently. However, such a learning process fails to consider the sentence-level consistency, thus resulting in inferior generation quality of these non-autoregressive models. In this paper, we propose a Non-Autoregressive Image Captioning (NAIC) model with a novel training paradigm: Counterfactuals-critical Multi-Agent Learning (CMAL). CMAL formulates NAIC as a multi-agent reinforcement learning system where positions in the target sequence are viewed as agents that learn to cooperatively maximize a sentence-level reward. Besides, we propose to utilize massive unlabeled images to boost captioning performance. Extensive experiments on MSCOCO image captioning benchmark show that our NAIC model achieves a performance comparable to state-of-the-art autoregressive models, while brings 13.9x decoding speedup.

연구 동기 및 목표

• 비자기적 이미지 캡션 생성에서 발생하는 추론 일관성 문제를 해결하기 위해, 문장 수준의 일관성을 忽시하는 단어 수준의 교차 엔트로피 학습에 기인한 문제를 해결하고자 한다.
• 문장 수준의 일관성을 향상시키기 위해, 시퀀스 위치를 에이전트로 간주하는 협동 다중 에이전트 강화학습 시스템으로 비자기적 캡션 생성을 재구성하고자 한다.
• 에이전트별 정반대 기반을 사용하여 다중 에이전트 신뢰도 할당 문제를 해결하고, 팀 보상에 대한 개별 기여도를 분리하고자 한다.
• 대규모 레이블이 없는 이미지를 사전 훈련 단계에서 활용하여 모델 성능을 향상시키고자 한다.
• 캡션 품질을 손상시키지 않고도 자동 생성 모델과 동등한 성능을 달성하면서도 빠른 추론 속도를 확보하고자 한다.

제안 방법

• 목표 캡션의 각 단어 위치를 협동 다중 에이전트 강화학습 프레임워크 내의 독립된 에이전트로 간주한다.
• 전체 캡션 품질을 최적화하기 위해 공유 팀 보상으로 문장 수준의 보상(예: CIDEr)을 정의한다.
• 추론 중에 에이전트 간의 의사소통과 컨텍스트 공유를 가능하게 하기 위해 트랜스포저 디코더의 자체 어텐션을 사용한다.
• 에이전트별 이점 함수를 정반대 기반을 사용해 계산한다: 다른 에이전트의 행동은 고정된 채로 해당 에이전트의 행동이 평균화된 상태에서 기대 보상을 계산한다.
• 정반대 이점 함수를 사용해 정책 그래디언트 업데이트를 적용함으로써 각 에이전트의 정책을 향상시키며, 기준보다 우수한 행동에 집중한다.
• 사전 훈련 단계에서 레이블이 없는 대규모 이미지 데이터를 사용해 교차 엔트로피 손실을 적용함으로써 초기화 및 성능 향상을 도모한다.

실험 결과

연구 질문

• RQ1 협동 다중 에이전트 강화학습 프레임워크가 비자기적 이미지 캡션 생성에서 문장 수준의 일관성을 효과적으로 향상시킬 수 있는가?
• RQ2 에이전트별 정반대 기반을 사용할 경우, 이동 평균 또는 자기 비판 기반과 같은 전역 기반보다 다중 에이전트 신뢰도 할당에서 더 우수한 성능을 내는가?
• RQ3 사전 훈련 단계에서 레이블이 없는 이미지를 활용할 경우, 비자기적 캡션 생성 모델의 성능 향상에 어느 정도 기여하는가?
• RQ4 제안된 CMAL 방법이 자동 생성 모델과 동등한 성능을 달성하면서도 현저히 빠른 추론 속도를 제공할 수 있는가?
• RQ5 행동 샘플링의 상위-k 크기와 같은 하이퍼파라미터에 대해 CMAL 훈련이 얼마나 민감한가?

주요 결과

• 제안된 CMAL 모델은 MSCOCO 테스트 세트에서 CIDEr 점수 124.0을 기록하여 자동 생성 모델과 동등한 최상의 성능을 달성하면서도 13.9배 빠른 추론 속도를 확보하였다.
• 정반대 기반(CF)은 이동 평균(MA) 및 자기 비판(SC) 기반보다 우수한 성능을 보였으며, 특히 약한 초기화 상태에서의 성능 향상이 두드러져 뛰어난 강건성을 입증하였다.
• 사전 훈련 단계에서 10만 장의 레이블이 없는 이미지를 활용함으로써 CIDEr 점수는 124.0에서 125.5로 상승하였으며, 자기지도 학습의 효과를 입증하였다.
• 행동 샘플링의 상위-k 크기에 대해 모델은 민감하지 않으며, k=2일 때 이미 거의 최적의 성능(CIDEr=124.0)을 달성하였다.
• 정성적 결과 분석에서 CMAL로 훈련된 모델은 반복 단어와 불완전한 콘텐츠를 효과적으로 제거하였으며, XE 기반 비자기적 모델 대비 유창성과 일관성 면에서 뚜렷한 향상을 보였다.
• 훈련 목표를 문장 수준 평가 지표와 일치시킴으로써 추론 일관성을 감소시켰으며, CIDEr 및 BLEU와 같이 미분 불가능한 평가 점수를 직접 최적화하였다.