[논문 리뷰] Learning Visual Storylines with Skipping Recurrent Neural Networks

Gunnar A. Sigurdsson, Xinlei Chen외 1명|arXiv (Cornell University)|2016. 04. 14.

Advanced Image and Video Retrieval Techniques참고 문헌 42인용 수 10

한 줄 요약

이 논문은 웹 사진 앨범에서 비정보성 연속 이미지 전이를 건너뛰어 장기적인 시각적 스토리라인을 학습하기 위해 스킵링 순환 신경망(S-RNN)을 제안한다. 주목할 만한 시간적으로 일관된 이미지 서브셋에 집중함으로써 S-RNN은 이미지 예측 및 사진 앨범 요약에서 LSTMs와 RNN보다 뛰어난 성능을 보이며, 기준 모델 대비 70%의 인간 선호도를 확보한다.

ABSTRACT

What does a typical visit to Paris look like? Do people first take photos of the Louvre and then the Eiffel Tower? Can we visually model a temporal event like "Paris Vacation" using current frameworks? In this paper, we explore how we can automatically learn the temporal aspects, or storylines of visual concepts from web data. Previous attempts focus on consecutive image-to-image transitions and are unsuccessful at recovering the long-term underlying story. Our novel Skipping Recurrent Neural Network (S-RNN) model does not attempt to predict each and every data point in the sequence, like classic RNNs. Rather, S-RNN uses a framework that skips through the images in the photo stream to explore the space of all ordered subsets of the albums via an efficient sampling procedure. This approach reduces the negative impact of strong short-term correlations, and recovers the latent story more accurately. We show how our learned storylines can be used to analyze, predict, and summarize photo albums from Flickr. Our experimental results provide strong qualitative and quantitative evidence that S-RNN is significantly better than other candidate methods such as LSTMs on learning long-term correlations and recovering latent storylines. Moreover, we show how storylines can help machines better understand and summarize photo streams by inferring a brief personalized story of each individual album.

연구 동기 및 목표

• 웹 사진 데이터에서 파리 또는 웨딩과 같은 개념의 장기적인 시각적 스토리라인을 모델링하기 위해.
• 사진 스트림에서 강한 단기 상관관계로 인해 RNN이 장기적 의존성을 포착하는 데 한계가 있음을 해결하기 위해.
• 전체 스토리 패턴을 학습하면서 개인화된 앨범 스토리를 추론하는 비지도 방법을 개발하기 위해.
• 학습된 스토리라인을 활용하여 이미지 예측 및 사진 앨범 요약을 향상시키기 위해.
• 시간 순서 정렬 및 스킵 메커니즘이 표준 RNN 및 LSTMs에 비해 모델 성능을 향상시키는지 평가하기 위해.

제안 방법

• S-RNN는 사진 스트림의 이미지를 건너뛰는 어텐션 기반 샘플링 메커니즘을 사용하여 중복되는 연속 전이를 방지한다.
• 모델은 시간적으로 일관되고 다양한 이미지 서브셋을 선택하도록 유도하는 손실 함수를 최적화하여 글로벌 스토리라인을 학습한다.
• 시각적 표현을 위해 CNN 특징을 활용하고, 선택된 이미지 서브셋 간의 시간 동적 변화를 모델링하기 위해 순환 아키텍처를 적용한다.
• 시간 스탬프 메타데이터를 활용해 시간 순서를 안내함으로써 플리커 사진 앨범에서 비지도 방식으로 프레임워크를 훈련시킨다.
• 두 단계 과정을 사용한다: 첫째, 개념별로 글로벌 스토리라인을 학습하고, 둘째, 글로벌 모델을 기반으로 각 앨범의 개인화된 스토리라인을 추론한다.
• 후처리 단계에서 선택된 이미지를 일관된 서사 순서로 재정렬하여 요약 및 예측 작업에 활용한다.

실험 결과

연구 질문

• RQ1 연속된 이미지 예측에 의존하지 않고 웹 사진 앨범에서 의미 있는 장기적 시각적 스토리라인을 학습할 수 있는가?
• RQ2 비정보성 전이를 스킵함으로써 사진 스트림 내 잠재적인 시간적 구조 학습이 어떻게 향상되는가?
• RQ3 S-RNN이 시각적 시퀀스에서 장기적 상관관계를 모델링하는 데 있어 표준 RNN 및 LSTMs보다 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 학습된 스토리라인이 이미지 예측 및 사진 앨범 요약 작업을 향상시킬 수 있는가?
• RQ5 시간 스탬프 메타데이터를 통합하면 생성된 요약의 품질이 상당히 향상되는가?

주요 결과

• S-RNN는 요약 품질 비교에서 기준 모델 전부를 앞서 70%의 인간 선호도를 기록했으며, 인간이 작성한 요약(59.5% 선호)보다도 뛰어났다.
• 특히 파리 및 런던과 같은 여행 관련 개념에서 장기적 스토리라인 학습에서 S-RNN이 LSTMs 및 RNN보다 뚜렷하게 뛰어난 성능을 보였다.
• 시간 정보를 활용해 훈련한 S-RNN는 셔플된 데이터로 훈련한 동일한 모델 대비 68.4%의 선호도를 기록하여 시간 정보가 요약 품질 향상에 기여함을 입증했다.
• 모델의 성능은 파리, 런던과 같은 랜드마크 기반 개념에서 특히 뛰어나 시퀀스 기반 관광 패턴을 효과적으로 포착했다.
• 간단한 기준 모델인 Local 및 Sample은 시간 순서 재정렬과 결합했을 때 경쟁력 있는 성능을 보였지만, 노이즈가 많은 앨범에서는 실패했으며, 이는 S-RNN의 강건성을 시사한다.
• 웨딩에서 스쿠버 다이빙나 파리와 같은 다른 개념으로 스토리 지식을 전이함으로써 의미적으로 관련된 요약을 생성할 수 있었으며, 일반화 능력을 입증했다.