[논문 리뷰] Hierarchically-Attentive RNN for Album Summarization and Storytelling

Licheng Yu, Mohit Bansal외 1명|arXiv (Cornell University)|2017. 08. 09.

Multimodal Machine Learning Applications인용 수 9

한 줄 요약

이 논문은 전체 사진 앨범에서 대표적인 사진을 함께 선택하고 일관되고 자연스러운 언어로 된 스토리를 생성하는 엔드 투 엔드 시각적 스토리텔링을 위한 계층적 어조 주의 RNN 모델을 제안한다. 모델은 앨범의 맥락을 인코딩하고, 주목할 만한 사진에 주의를 기울이며, 유창한 서사를 생성하기 위해 세 개의 스택된 양방향 GRU를 사용한다. 사진 선택, 스토리 생성, 앨범 검색 작업에서 최신 기술 수준의 성능을 달성하였으며, 인간 평가 결과 기준 모델이 베이스라인 모델보다 우수한 선호도를 보였다.

ABSTRACT

We address the problem of end-to-end visual storytelling. Given a photo album, our model first selects the most representative (summary) photos, and then composes a natural language story for the album. For this task, we make use of the Visual Storytelling dataset and a model composed of three hierarchically-attentive Recurrent Neural Nets (RNNs) to: encode the album photos, select representative (summary) photos, and compose the story. Automatic and human evaluations show our model achieves better performance on selection, generation, and retrieval than baselines.

연구 동기 및 목표

• 전체 사진 앨범에서 사진 선택과 스토리 생성을 동시에 학습해야 하는 엔드 투 엔드 시각적 스토리텔링의 과제를 해결하기 위해.
• 사전에 선택된 요약 사진에 의존하거나 약한 감독을 사용하는 기존 방법을 개선하기 위해, 훈련 중에 암묵적으로 대표 사진 선택을 학습하기 위해.
• 다중 RNN 단계를 거쳐 계층적 어조 주의를 사용하는 통합 모델을 개발하여 앨범 요약 및 스토리 생성을 동시에 수행하기 위해.
• 스토리 생성 외에도 새로운 앨범 검색 작업을 평가하기 위해, 스토리를 사용해 원본 앨범을 검색하는 방식을 고려하기 위해.
• 명시적인 선택에 대한 감독 없이도 학습된 사진 선택 메커니즘이 인간의 선호도와 합리적으로 일치하는지 입증하기 위해.

제안 방법

• 모델은 앨범 내 모든 사진의 시각적 특징을 인코딩하기 위해 양방향 GRU-RNN을 사용하여 국소적이고 전반적인 맥락을 포착한다.
• 두 번째 RNN은 앨범 사진들에 대한 주의 가중치를 계산하여 가장 대표적인(요약용) 사진을 식별하며, 이는 미분 가능한 사진 선택기 역할을 한다.
• 세 번째 RNN은 선택된 사진의 가중치 표현을 디코딩하여 자동 회귀 생성 방식으로 일관되고 다중 문장으로 된 스토리를 생성한다.
• 전체 모델은 스토리 생성을 위한 교차 엔트로피 손실과 사진 선택을 향상시키기 위한 순위 정규화 손실을 조합한 공동 손실을 사용해 엔드 투 엔드로 훈련된다.
• 순위 정규화 항은 인간이 선택한 요약 사진에 가까운 사진에게 더 높은 주의 가중치를 부여하도록 유도한다.
• 추론 과정에서는 다양하고 고품질의 스토리를 생성하기 위해 비드 크기=3로 비드 서치를 사용한다.

실험 결과

연구 질문

• RQ1 사전에 선택된 요약 사진에 의존하지 않고, 하나의 신경망이 전체 사진 앨범에서 대표 사진 선택과 일관된 스토리 생성을 동시에 학습할 수 있는가?
• RQ2 학습된 사진 선택 메커니즘이 인간이 애너테이션한 요약 사진과 얼마나 잘 일치하는가?
• RQ3 제안된 계층적 어조 주의 메커니즘이 표준 seq2seq나 주의 기반 기준 모델에 비해 스토리 생성 품질을 향상시키는가?
• RQ4 스토리를 사용해 원본 앨범을 검색하는 데 모델이 효과적으로 사용될 수 있는가?
• RQ5 손실 함수에 순위 정규화 항을 포함함으로써 사진 선택 품질과 후속 작업의 성능이 크게 향상되는가?

주요 결과

• h-attn-rank 모델은 앨범 요약 과제에서 R@10 45.51%와 Meteor 점수 28.77%를 기록하여 기준 모델 enc-dec(10.70% R@10, 18.30% Meteor)를 상당히 앞서는 성능을 보였다.
• 인간 평가 결과, 강제 선택 비교에서 h-attn-rank 모델은 enc-dec 및 enc-attn-dec 기준 모델보다 통계적으로 유의미한 선호도(p=0.01)를 보였다.
• 학습된 사진 선택 메커니즘은 중앙값 순위 7.0을 기록하여 인간이 선택한 요약 사진과 강력한 일치를 보였으며, DPP 기반 기준 모델보다 정밀도와 재현율에서 뛰어난 성능을 보였다.
• 앨범 검색 과제에서 h-attn-rank 모델은 Recall@10 57.60%를 기록하여 기준 모델 enc-dec(41.40% R@10)를 상당히 앞서는 강력한 검색 능력을 보였다.
• 인간이 선택한 5장의 사진 세트를 오라클로 사용했을 때도 엔드 투 엔드 모델 성능 향상은 미미했으며, 이는 모델이 거의 최적의 선택을 학습하고 있음을 시사한다.
• 순위 정규화 항은 요약 및 검색 성능 향상에 기여했지만, 검색 성능에 대한 영향은 다소 뚜렷하지 않아 향후 최적화 여지가 있음을 시사한다.