[논문 리뷰] Towards Diverse and Accurate Image Captions via Reinforcing Determinantal Point Process

Qingzhong Wang, Antoni B. Chan|arXiv (Cornell University)|2019. 08. 14.

Multimodal Machine Learning Applications참고 문헌 29인용 수 7

한 줄 요약

이 논문은 강화학습과 결정성점프로세스(Determinantal Point Process, DPP)를 통합하여 다양하고 정확한 이미지 캡션을 생성하는 새로운 방법인 강화학습 기반 결정성점프로세스(R-DPP)를 제안한다. CIDEr 점수(품질)와 캡션 간 코사인 유사도(다양성)를 통합한 DPP 기반 메트릭을 최대화함으로써, 기준 RL 모델 대비 다양성과 정확성을 동시에 향상시키며, 오라클 테스트 세트에서 최신 기술 수준의 성능을 달성하고 고품질의 빔 서치 출력을 가능하게 한다.

ABSTRACT

Although significant progress has been made in the field of automatic image captioning, it is still a challenging task. Previous works normally pay much attention to improving the quality of the generated captions but ignore the diversity of captions. In this paper, we combine determinantal point process (DPP) and reinforcement learning (RL) and propose a novel reinforcing DPP (R-DPP) approach to generate a set of captions with high quality and diversity for an image. We show that R-DPP performs better on accuracy and diversity than using noise as a control signal (GANs, VAEs). Moreover, R-DPP is able to preserve the modes of the learned distribution. Hence, beam search algorithm can be applied to generate a single accurate caption, which performs better than other RL-based models.

연구 동기 및 목표

• 강화학습 기반 이미지 캡션 모델에서 품질 메트릭(예: CIDEr)을 우선시함으로써 캡션 변동성이 부족한 문제를 해결하기 위해.
• 보조 노이즈나 제어 신호에 의존하지 않고도 캡션 품질과 캡션 간 다양성을 동시에 최적화하는 통합 학습 목표를 개발하기 위해.
• 정답 캡션 분포의 모드를 유지하여 빔 서치가 고품질 단일 캡션을 생성할 수 있도록 하기 위해.
• 특히 오라클 평가 설정 하에서, 기존의 다채널 캡션 생성 방법보다 다양성과 정확성 양면에서 뛰어난 성능을 내기 위해.

제안 방법

• 캡션 품질(CIDEr 점수)과 캡션 간 코사인 유사도(다양성)를 통합한 DPP 기반 메트릭을 제안하여 단일 행렬 행렬식 목표로 통합한다.
• 양질의 품질과 다양성을 동시에 모델링하는 정반비대칭 행렬 L을 사용하여 L-엔세블 행렬의 행렬식을 최대화함으로써 강화학습을 수행한다.
• 정책 그래เดียน트를 사용하여 엔드 투 엔드로 모델을 훈련할 수 있도록 유연한 DPP 추론 기반 메커니즘을 도입한다.
• 학습 시 샘플링하는 캡션 수인 하이퍼파라미터 m을 도입하여 다양성과 정확성 간의 트레이드오프를 제어한다.
• R-DPP 모델에 빔 서치를 적용하여 단일 고품질 캡션을 생성함으로써, 분포 모드를 유지하는 능력을 활용한다.
• CIDEr 점수를 보상으로 사용하는 정책 그래디언트 기반 강화학습으로 모델을 훈련하며, DPP 구성요소를 통해 행렬식 최대화를 통한 다양성 확보를 수행한다.

실험 결과

연구 질문

• RQ1 노이즈나 보조 제어 신호에 의존하지 않고도, 캡션 품질과 다양성을 동시에 최적화할 수 있는 강화학습 프레임워크를 설계할 수 있는가?
• RQ2 DPP 구조를 가진 행렬의 행렬식을 최대화하는 것이 기존의 표준 RL 기준 모델 대비 더 나은 캡션 다양성과 품질을 제공하는가?
• RQ3 R-DPP 모델은 정답 캡션 분포의 모드를 유지할 수 있는가? 이를 통해 빔 서치가 열등한 단일 캡션을 생성할 수 있는가?
• RQ4 학습 시 샘플링하는 캡션 수(m)가 최종 출력의 다양성과 정확성 간 균형에 어떤 영향을 미치는가?
• RQ5 R-DPP는 표준 평가 및 오라클 평가 벤치마크 모두에서 최신 기술 수준의 다채널 캡션 생성 모델을 초월하는가?

주요 결과

• R-DPP는 20개의 캡션을 샘플링한 경우(m=5) 오라클 테스트에서 CIDEr 점수 1.700을 기록하여 XE+20CIDEr 및 SCST를 포함한 모든 비교 모델을 능가한다.
• m=5일 때, 20개의 캡션을 샘플링한 결과 R-DPP는 CIDEr 점수 0.527과 다양성 점수 0.405를 기록하였으며, 정확성에서는 SCST(1.114)와 XE+λCIDEr를 크게 앞서며 높은 다양성을 유지한다.
• m=2일 때, R-DPP는 다양성 점수를 약 0.2에서 약 0.4로 두 배로 높였고, CIDEr 점수도 1.114에서 1.222로 향상시켰다.
• 모델은 빔 서치를 통해 조건이 좋은 캡션 생성을 유지하여 단일 캡션의 CIDEr 점수 1.222를 기록하였으며, 이는 기본 모델인 Att2in-XE 및 SCST 모델보다 높은 성능을 보였다.
• m를 2에서 5로 증가시키면 오라클 테스트에서 CIDEr 점수가 1.563에서 1.700으로 향상되었지만, m를 7로 더 증가시키면 성능이 약간 감소하여 약 5가 최적의 m임을 시사한다.
• R-DPP는 XE+λCIDEr와 유사한 다양성을 기록했지만, 훨씬 높은 정확도를 확보하여 품질과 다양성 간의 뛰어난 균형을 보여주었다.