[논문 리뷰] Consensus-based Sequence Training for Video Captioning

Sang Phan, Gustav Eje Henter외 2명|arXiv (Cornell University)|2017. 12. 27.

Multimodal Machine Learning Applications참고 문헌 33인용 수 19

한 줄 요약

이 논문은 목적어 불일치 문제를 완화하기 위해 먼저 지도학습 기반의 가중치가 부여된 교차 엔트로피 사전학습 단계를 거쳐 모델 샘플로 진정한 레이블을 처리하고, 이후 REINFORCE를 사용해 공통된 점수를 기반으로 한 안정적인 기준선을 통해 미세조정하는 이단계 방법인 공감 기반 시퀀스 훈련(CST)을 제안한다. CST는 MSRVTT에서 CIDEr 점수 54.2로 기존 최고 성능을 2.9점 이상 초월하는 새로운 SOTA 성능을 달성한다.

ABSTRACT

Captioning models are typically trained using the cross-entropy loss. However, their performance is evaluated on other metrics designed to better correlate with human assessments. Recently, it has been shown that reinforcement learning (RL) can directly optimize these metrics in tasks such as captioning. However, this is computationally costly and requires specifying a baseline reward at each step to make training converge. We propose a fast approach to optimize one's objective of interest through the REINFORCE algorithm. First we show that, by replacing model samples with ground-truth sentences, RL training can be seen as a form of weighted cross-entropy loss, giving a fast, RL-based pre-training algorithm. Second, we propose to use the consensus among ground-truth captions of the same video as the baseline reward. This can be computed very efficiently. We call the complete proposal Consensus-based Sequence Training (CST). Applied to the MSRVTT video captioning benchmark, our proposals train significantly faster than comparable methods and establish a new state-of-the-art on the task, improving the CIDEr score from 47.3 to 54.2.

연구 동기 및 목표

• 영상 요약에서 교차 엔트로피 학습이 인간 평가 지표인 CIDEr와 일치하지 않는 목적어 불일치 문제를 해결하기 위해.
• 모델 생성 샘플을 사용하는 대신 진정한 레이블을 활용해 보다 안정적이고 빠른 사전학습을 가능하게 하여 강화학습 기반 요약의 학습 불안정성과 계산 비용을 감소시키기 위해.
• 노출 편향과 목적어 불일치 문제를 분리하여, RL을 통한 미세조정 이전에 일반화 능력을 향상시키는 효율적이고 안정적인 사전학습을 가능하게 하기 위해.
• CIDEr와 같은 공감 기반 지표를 직접 최적화함으로써 MSRVTT 벤치마크에서 새로운 SOTA 성능을 달성하기 위해.

제안 방법

• 진정한 레이블을 모델 샘플로 간주하여 진정한 레이블을 사용한 REINFORCE 근사치를 제공하는 가중치가 부여된 교차 엔트로피 사전학습 기법(WXE)을 제안한다.
• 영상에 대한 모든 진정한 레이블 간의 평균 CIDEr 점수를 기반으로 한 자기공감 기준선(SCB)을 도입하여 REINFORCE의 기준 보상으로 사용한다.
• SCB를 활용해 탐색적 샘플링이 필요 없는 기준선 추정을 가능하게 하여, 탐색 기반 기준선 대비 약 2배 빠른 학습 속도를 달성한다.
• 이중 단계 학습 파이프라인을 적용한다: 먼저 목적어 불일치 문제를 완화하기 위해 WXE 사전학습을 수행하고, 이후 SCB를 사용한 REINFORCE 기반의 전체 미세조정을 수행한다.
• 정책 그래디언트 추정을 안정화하기 위해 기준선을 사용하는 REINFORCE 알고리즘을 적용하며, CIDEr를 보상 신호로 사용하여 인간과 유사한 요약을 최적화한다.
• SCB에서 샘플링된 요약을 사용함으로써 계산 효율성을 유지하면서도 동적 기준선 추정이 가능하도록 방법을 확장한다.

실험 결과

연구 질문

• RQ1 REINFORCE 학습에서 모델 생성 샘플 대신 진정한 레이블을 사용할 경우, 목적어 불일치 문제를 줄이고 안정적이고 빠른 사전학습을 가능하게 할 수 있는가?
• RQ2 진정한 레이블 간의 공감 점수를 REINFORCE 학습의 기준선으로 사용할 경우, 탐색 기반 기준선 추정보다 수렴 속도가 빠르고 성능이 향상되는가?
• RQ3 가중치가 부여된 교차 엔트로피로 사전학습하고, 공감 기반 REINFORCE로 미세조정하는 이중 단계 학습 전략이 목적어 불일치와 노출 편향 문제를 동시에 해결할 수 있는가?
• RQ4 제안된 공감 기반 시퀀스 훈련(CST) 방법이 CIDEr를 최적화함으로써 MSRVTT 영상 요약 벤치마크에서 SOTA 성능을 달성하는가?

주요 결과

• CST는 MSRVTT 벤치마크에서 기존 최고 점수인 51.7보다 뚜렷이 높은 새로운 SOTA CIDEr 점수 54.2를 달성한다.
• WXE 사전학습 단계만으로도 표준 교차 엔트로피 학습 대비 CIDEr 점수를 2점 이상 향상시켰다(47.3 → 49.7).
• 자기공감 기준선(SCB)을 사용한 미세조정은 추가로 3.9점 향상시켜 53.6에 도달했고, 샘플링된 요약을 활용한 추가 최적화로 54.2에 도달했다.
• SCB 기준선 덕분에 탐색 기반 기준선 추정 방식 대비 학습 속도가 약 2배 빨라졌으며, 이는 탐색 출력에 대한 반복적인 CIDEr 계산을 피하기 때문이다.
• CST는 모든 지표에서 이전 방법들을 모두 압도하며, 특히 인간 평가와 가장 밀접한 관련이 있는 CIDEr 지표에서 가장 큰 향상을 보였다.
• 정성적 분석 결과, CST는 특히 인간 애너테이터가 제공한 요약의 변동성이 높은 영상에서 더 일관되고 인간다운 요약을 생성함으로써 외곽치에 대한 민감도가 감소한 것으로 나타났다.