[논문 리뷰] Generating Descriptions with Grounded and Co-Referenced People

Anna Rohrbach, Marcus Rohrbach외 3명|arXiv (Cornell University)|2017. 04. 05.

Multimodal Machine Learning Applications참고 문헌 57인용 수 16

한 줄 요약

이 논문은 문자 언급을 영상 클립에 기반으로 하고, 연속된 클립 간의 시각적 공참조를 주의 메커니즘을 통해 감독하는 공동 영상 설명 모델을 제안한다. 이는 문자 언급과 시각적 트랙 간에 자동으로 추출된 연결을 통해 감독된다. 이 방법은 기준 모델 대비 설명 품질과 공참조 해결 능력을 크게 향상시키며, 인간 평가 및 자동 평가 모두에서 MPII-MD 데이터셋에서 최고 성능을 기록한다.

ABSTRACT

Learning how to generate descriptions of images or videos received major interest both in the Computer Vision and Natural Language Processing communities. While a few works have proposed to learn a grounding during the generation process in an unsupervised way (via an attention mechanism), it remains unclear how good the quality of the grounding is and whether it benefits the description quality. In this work we propose a movie description model which learns to generate description and jointly ground (localize) the mentioned characters as well as do visual co-reference resolution between pairs of consecutive sentences/clips. We also propose to use weak localization supervision through character mentions provided in movie descriptions to learn the character grounding. At training time, we first learn how to localize characters by relating their visual appearance to mentions in the descriptions via a semi-supervised approach. We then provide this (noisy) supervision into our description model which greatly improves its performance. Our proposed description model improves over prior work w.r.t. generated description quality and additionally provides grounding and local co-reference resolution. We evaluate it on the MPII Movie Description dataset using automatic and human evaluation measures and using our newly collected grounding and co-reference data for characters.

연구 동기 및 목표

• 연속된 클립 간의 공참조를 해결하고 영상 클립에 문자를 기반으로 하는 영상 설명을 동시에 생성하는 문제를 해결하기 위해.
• 후처리 단계가 아니라 생성 과정에서 시각적 기반화와 공참조 해결을 통합함으로써 설명 품질을 향상시키기 위해.
• 완전한 수동 레이블링 없이도 문자 언급과 시각적 트랙만을 사용하여 약한 감독 방법을 통해 문자 기반화를 학습하는 방법을 개발하기 위해.
• 프로니움과 명시적 정체성(예: 'Sophia')을 사용하여 클립 간에 일관된 참조를 가능하게 하기 위해, 시각적 등장을 클립 간에 연결하기 위해.
• 향후 연구를 지원하기 위해 MPII-Movie Description 데이터셋에 대한 새로운 문자 기반화 및 공참조 레이블을 공개하기 위해.

제안 방법

• 영상 프레임에서 머리 부분을 검출하고 추적하기 위해 이중 단계 클러스터링 방법을 사용하여 문자의 시각적 국소화를 가능하게 한다.
• 확장된 주의 메커니즘이 동시에 시각적 트랙 선택(기반화)과 이전 클립과의 연결(공참조 해결)을 학습한다.
• 텍스트 내 문자 언급과 시각적 트랙 간에 자동으로 추출된 연결을 통해 모델을 감독한다. 이는 약한 감독 방법을 통해 확보된다.
• 머리 영역의 통계적 특징과 ResNet에서 유도된 활동 특징을 사용하여 공참조 해결 및 기반화 정확도를 향상시킨다.
• 모델은 엔드 투 엔드로 훈련되어 동시에 문자 국소화와 공참조 해결(프로니움 및 명시적 정체성 사용)을 수행하면서 설명을 생성한다.
• 제거 실험 결과, 기반화 및 공참조 감독이 성능 향상에 필수적임을 입증하였으며, 추가적인 특징(예: ResNet, 활동 특징)이 성능 향상에 기여함을 보였다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 모델이 고품질의 영상 설명을 동시에 생성하고, 문자 언급을 영상 클립에 기반화하며, 연속된 클립 간의 공참조를 해결할 수 있는가?
• RQ2 텍스트 언급과 시각적 트랙 간에 자동으로 추출된 연결을 통한 약한 감독이 공참조 해결에 얼마나 효과적인가?
• RQ3 기반화와 공참조 해결을 동시에 학습하는 것이 후처리 기반 기준 모델 대비 더 나은 설명 품질을 제공하는가?
• RQ4 시각적 특징(예: 머리 통계, ResNet 특징)의 포함 여부가 기반화 및 공참조 성능에 어떤 영향을 미치는가?
• RQ5 특히 대규모 테스트 세트에서 문자가 존재하지 않거나 언급되지 않은 클립의 경우 모델이 올바르게 처리할 수 있는가?

주요 결과

• 제안된 모델은 MPII-MD 데이터셋에서 최고 성능을 기록하였으며, BLEU-4 점수는 69.17, CIDEr 점수는 53.92로 모든 기준 모델을 초월하였다.
• 제거 실험 결과, 기반화 및 공참조 감독을 제거했을 경우(wo α) 공참조 F1 점수가 33.88에서 20.41로 감소하여 이들이 성능 향상에 핵심적인 역할을 함을 입증하였다.
• 통계적 특징을 포함하지 않은 경우(wo stat.feat.) 성능 저하가 발생하여, 이러한 특징이 정확한 공참조 해결에 필수적임을 시사한다.
• ResNet 및 활동 특징을 포함한 모델은 공참조 F1 점수 37.92를 기록하여 더 풍부한 시각적 특징이 성능 향상에 기여함을 보였다.
• 자동으로 생성된 진짜 레이블링 방법은 높은 신뢰도를 보였으며, 수동으로 레이블링된 부분집합에서 89.10%의 정확도를 기록하여 강력한 훈련을 가능하게 하였다.
• 전체 테스트 세트에서 모든 메트릭에서 모든 기준 모델을 능가하였으며, 특히 문자가 없는 클립 처리에서 뛰어난 성능을 보여, 데이터 분포 변화에 대한 강건성을 입증하였다.