[논문 리뷰] Curiosity-driven Reinforcement Learning for Diverse Visual Paragraph Generation

Yadan Luo, Zi Huang외 4명|arXiv (Cornell University)|2019. 08. 01.

Multimodal Machine Learning Applications참고 문헌 57인용 수 7

한 줄 요약

이 논문은 시각적 문단 생성을 위한 궁금증 기반 강화학습(Curiosity-driven Reinforcement Learning, CRL) 프레임워크를 제안하며, 정책 그래เดียน트 학습과 내재적 궁금증 보상( intrinsic curiosity rewards)을 통합하여 다양성과 정확성을 향상시킨다. 상태 전이의 예측 불확실성을 내재적 보상으로 모델링함으로써 에이전트는 드문, 정밀한 묘사를 탐색하게 되며, 시간 차분 학습은 희박한 외재적 보상을 추정하고, 할인된 모방 학습은 사전 훈련 없이 수렴을 가속화한다. 이로 인해 스탠포드 이미지-문단 데이터셋에서 최신 기술(SOTA) 대비 38.4% 향상된 성능을 달성한다.

ABSTRACT

Visual paragraph generation aims to automatically describe a given image from different perspectives and organize sentences in a coherent way. In this paper, we address three critical challenges for this task in a reinforcement learning setting: the mode collapse, the delayed feedback, and the time-consuming warm-up for policy networks. Generally, we propose a novel Curiosity-driven Reinforcement Learning (CRL) framework to jointly enhance the diversity and accuracy of the generated paragraphs. First, by modeling the paragraph captioning as a long-term decision-making process and measuring the prediction uncertainty of state transitions as intrinsic rewards, the model is incentivized to memorize precise but rarely spotted descriptions to context, rather than being biased towards frequent fragments and generic patterns. Second, since the extrinsic reward from evaluation is only available until the complete paragraph is generated, we estimate its expected value at each time step with temporal-difference learning, by considering the correlations between successive actions. Then the estimated extrinsic rewards are complemented by dense intrinsic rewards produced from the derived curiosity module, in order to encourage the policy to fully explore action space and find a global optimum. Third, discounted imitation learning is integrated for learning from human demonstrations, without separately performing the time-consuming warm-up in advance. Extensive experiments conducted on the Standford image-paragraph dataset demonstrate the effectiveness and efficiency of the proposed method, improving the performance by 38.4% compared with state-of-the-art.

연구 동기 및 목표

• 모델이 일반적인 표현을 반복하는 대신 다양한 정밀한 묘사를 포착하지 못하는 시각적 문단 생성에서의 모드 붕괴 문제를 해결하기 위해.
• 문단 생성을 위한 강화학습에서 희박하고 지연된 외재적 보상 문제를 해결하기 위해.
• 시간이 오래 걸리는 사전 훈련이 필요 없도록 정책 최적화 과정에 할인된 모방 학습을 통합함으로써 이를 제거하기 위해.
• 내재적 궁금증과 외재적 평가 신호를 조합하여 정책 네트워크의 탐색과 수렴을 향상시키기 위해.

제안 방법

• CRL 프레임워크는 상태 전이의 예측 불확실성을 내재적 보상으로 모델링하여 드문 정밀한 시각적 묘사 탐색을 장려한다.
• 시간 차분 학습을 사용해 각 타임스텝에서 예상되는 외재적 보상을 추정함으로써, 지연된 피드백에도 불구하고 훈련 중 밀도 높은 보상 신호를 제공한다.
• 정책 그래디언트를 통해 내재적 보상과 추정된 외재적 보상을 조합하여 정책 네트워크를 훈련함으로써 장기적 의사결정을 안내한다.
• 할인된 모방 학습을 통합하여 인간의 예시에서 초기 정책 감독을 제공함으로써 별도의 웜업 단계가 필요 없도록 한다.
• 언어 LSTM과 함께 업다운 어텐션 메커니즘을 사용하여 이미지 영역을 동적으로 주시하고 일관되고 세부적인 문단을 생성한다.
• 궁금증 모듈은 실제 다음 상태와 예측된 다음 상태 간의 예측 오차를 계산하여 내재적 보상으로 활용함으로써 새로운 시각-언어 패턴 탐색을 장려한다.

실험 결과

연구 질문

• RQ1 내재적 궁금증 보상이 드문 정밀한 묘사를 장려함으로써 시각적 문단 생성에서 모드 붕괴를 효과적으로 완화할 수 있는가?
• RQ2 평가 지표에서 유도되는 희박하고 지연된 외재적 보상을 훈련 중에 어떻게 추정할 수 있는가? 이는 안정적인 정책 최적화를 가능하게 하는가?
• RQ3 할인된 모방 학습이 기존의 사전 훈련을 얼마나 효과적으로 대체하여 시각적 문단 생성의 수렴 속도를 가속화할 수 있는가?
• RQ4 내재적 궁금증과 외재적 보상 추정을 조합하면 표준 강화학습 기반 베이스라인 대비 더 나은 다양성과 일관성을 가진 문단을 생성하는가?

주요 결과

• 제안된 CRL 방법은 스탠포드 이미지-문단 데이터셋에서 최신 기술(SOTA) 기반선 대비 CIDEr 점수에서 38.4% 상대적 향상을 달성한다.
• CRL 모델은 내재적 보상 제거 실험 대비 약 25 에포크에서 유의미하게 더 빠르게 수렴하며, 기반선 대비 40 에포크보다 빠르게 수렴한다.
• CRL 기반의 업다운 어텐션 정책 네트워크는 내재적 보상 없이 CRL을 사용한 경우 대비 CIDEr 점수를 16.36% 향상시키며, 강화학습 없이 CRL을 사용한 경우 대비 97.89% 향상시킨다.
• 의미적 그래프 분석 결과 CRL로 생성된 문단는 기반선 대비 더 넓은 어휘 커버리지와 richer한 문법적 관계를 보이며, 인간이 애너테이션한 다양성에 가까워진다.
• 경사 클리핑과 학습률 조정을 통해 훈련 보상의 분산이 감소하였으며, CRL 방법은 안정적이고 부드러운 보상 진행을 보였다.
• 지역화된 시각적 표현이 문단 생성에 중요한 영향을 미치며, 업다운 어텐션 메커니즘과 조합된 영역 기반 시각적 특징은 ResNet 특징보다 더 우수한 성능을 보였다.