[논문 리뷰] Non-Autoregressive Video Captioning with Iterative Refinement

Bang Yang, Fenglin Liu외 1명|arXiv (Cornell University)|2019. 11. 27.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

이 논문은 인간의 문장 생성 방식을 모방하기 위해 먼저 주요 시각적 특징을 추출한 후 병렬적으로 유창하고 다양한 문장을 생성하는 반복 보정을 갖춘 비자기적 비디오 문장 생성 모델을 제안한다. 이로 인해 추론 속도가 크게 향상된다. 외부 보조 점수를 통합하여 단어 수준의 보정을 유도함으로써, 자동 회귀 모델에 비해 성능 저하가 5% 이내로 유지되면서도 뛰어난 문장 품질과 다양성을 달성한다.

ABSTRACT

Existing state-of-the-art autoregressive video captioning methods (ARVC) generate captions sequentially, which leads to low inference efficiency. Moreover, the word-by-word generation process does not fit human intuition of comprehending video contents (i.e., first capturing the salient visual information and then generating well-organized descriptions), resulting in unsatisfied caption diversity. In order to press close to the human manner of comprehending video contents and writing captions, this paper proposes a non-autoregressive video captioning (NAVC) model with iterative refinement. We then further propose to exploit external auxiliary scoring information to assist the iterative refinement process, which can help the model focus on the inappropriate words more accurately. Experimental results on two mainstream benchmarks, i.e., MSVD and MSR-VTT, show that our proposed method generates more felicitous and diverse captions with a generally faster decoding speed, at the cost of up to 5% caption quality compared with the autoregressive counterpart. In particular, the proposal of using auxiliary scoring information not only improves non-autoregressive performance by a large margin, but is also beneficial for the caption diversity.

연구 동기 및 목표

• 단어별로 문장을 생성하는 방식으로 인해 비효율적이고 다양성이 떨어지는 자동 회귀 비디오 문장 생성(ARVC) 방법의 문제를 해결하기 위해.
• 먼저 핵심 시각적 콘텐츠를 추출한 후 기술을 생성함으로써 인간의 직관에 더 부합하는 비자기적 접근법을 개발하기 위해.
• 순차적 생성의 한계를 피하기 위해 반복 보정을 통해 문장 품질과 다양성을 향상시키기 위해.
• 부적절하거나 저품질의 단어를 수정하기 위해 외부 보조 점수를 활용하여 보정을 유도하는 방법을 탐색하기 위해.
• 최신 자동 회귀 모델과 비교해도 경쟁 가능한 성능을 유지하면서 더 빠른 추론 속도를 달성하기 위해.

제안 방법

• 비자기적 비디오 문장 생성 프레임워크를 제안하여 시각적 특징 추출과 문장 생성을 분리함으로써 병렬 디코딩을 가능하게 한다.
• 예측값을 여러 단계에 걸쳐 점진적으로 수정하는 반복 보정 메커니즘을 도입하여 유창성과 정확도를 향상시킨다.
• 외부 보조 점수(예: 사전 훈련된 모델 또는 언어적 메트릭)를 통합하여 부적절한 단어를 강조하고 타겟된 보정을 유도한다.
• 점수 신호를 소프트 어텐션 마스크로 활용하여 보정 과정에서 잘못되었거나 덜 자연스러운 단어를 우선적으로 처리한다.
• 다단계 훈련 전략을 활용하여 모델이 참조 문장과 예측 문장을 모두 사용해 예측값을 보정하도록 훈련한다.
• 대조 학습 또는 유사 기법을 활용하여 보정된 출력값을 기준 문장과 일치시키되, 다양성은 유지한다.

실험 결과

연구 질문

• RQ1 반복 보정을 갖춘 비자기적 비디오 문장 생성 모델은 자동 회귀 모델에 비해 더 다양하고 자연스러운 문장을 생성할 수 있는가?
• RQ2 외부 보조 점수의 통합이 비자기적 문장 생성에서 단어 수준의 보정 정확도와 효율성을 향상시키는가?
• RQ3 반복 보정은 비자기적 모델와 자동 회귀 모델 간의 성능 격차를 어느 정도 줄일 수 있는가?
• RQ4 높은 문장 품질을 유지하면서도 추론 속도 측면에서 자동 회귀 기준 모델에 비해 어떻게 비교되는가?
• RQ5 보조 점수는 전반적인 성능 저하 없이 문장 다양성을 향상시킬 수 있는가?

주요 결과

• 비자기적 모델는 병렬 디코딩과 비자기적 생성 덕분에 자동 회귀 모델 대비 뚜렷한 추론 속도 향상을 달성한다.
• 특히 보조 점수를 사용할 경우 어휘 수준의 보정이 향상되고 반복이 줄어들어 문장 다양성이 뚜렷이 향상된다.
• MSVD와 MSR-VTT에서 최신 자동 회귀 모델에 비해 성능 저하가 5% 이내로 유지되며 높은 문장 품질을 유지도한다.
• 보조 점수의 사용은 비자기적 문장 생성에서 큰 성능 향상을 가져오며, 특히 저신뢰도 또는 잘못된 단어를 수정하는 데 효과적이다.
• 반복 보정을 통해 예측값을 여러 단계에 걸쳐 보정함으로써 더 유창하고 맥락적으로 정확한 문장을 생성할 수 있다.
• 자동 평가 지표와 인간 평가 모두에서 기존 비자기적 모델보다 문장 품질과 다양성 측면에서 뛰어난 성능을 보였다.