[논문 리뷰] Learning to Compose Topic-Aware Mixture of Experts for Zero-Shot Video Captioning

Xin Wang, Jiawei Wu외 3명|arXiv (Cornell University)|2018. 11. 07.

Multimodal Machine Learning Applications참고 문헌 41인용 수 5

한 줄 요약

이 논문은 외부 텍스트 코퍼스에서 유도된 주제 임베딩를 기반으로 전문화된 캡션 전문가들을 동적으로 조합하는 주제 인식형 믹스처 오브 응용자(TAMoE) 모델을 제안한다. 이는 새로운 활동에 대해 훈련 데이터가 없는 상황에서도 의미 지식을 전이함으로써, '칼 갈이' 작업에서 43.63의 CIDEr 점수를 기록하여 기준 모델(24.77)보다 뚜렷한 향상 효과를 보이며, 사전에 보지 않은 활동에 대해 최신 기술 성능을 달성한다.

ABSTRACT

Although promising results have been achieved in video captioning, existing models are limited to the fixed inventory of activities in the training corpus, and do not generalize to open vocabulary scenarios. Here we introduce a novel task, zero-shot video captioning, that aims at describing out-of-domain videos of unseen activities. Videos of different activities usually require different captioning strategies in many aspects, i.e. word selection, semantic construction, and style expression etc, which poses a great challenge to depict novel activities without paired training data. But meanwhile, similar activities share some of those aspects in common. Therefore, We propose a principled Topic-Aware Mixture of Experts (TAMoE) model for zero-shot video captioning, which learns to compose different experts based on different topic embeddings, implicitly transferring the knowledge learned from seen activities to unseen ones. Besides, we leverage external topic-related text corpus to construct the topic embedding for each activity, which embodies the most relevant semantic vectors within the topic. Empirical results not only validate the effectiveness of our method in utilizing semantic knowledge for video captioning, but also show its strong generalization ability when describing novel activities.

연구 동기 및 목표

• 기존 비디오 캡션 모델이 새로운 활동에 대해 일반화할 수 없는 한계를 해결하기 위해, 훈련 데이터 쌍에 의존하는 데 기인한 문제를 해결한다.
• 새로운 활동에 대해 훈련 예제 없이도 도메인 외 비디오를 정확하게 캡션화할 수 있도록 한다.
• 외부 텍스트 지식을 활용하여 주제 인식형 전문가 조합을 통해 새로운 활동에 대한 캡션 생성을 유도한다.
• 유사한 활동들 간의 공통된 의미 패턴을 모델링하여 오픈-보기어 비디오 캡션의 일반화 능력을 향상시킨다.
• 표준화된 벤치마크 환경에서 제로샷 비디오 캡션의 작업을 정형화하고 평가한다.

제안 방법

• 모델은 잠재적 특징에서 별도의 캡션 전략을 학습하는 임베딩 기반의 기본 전문가 집합을 포함하는 믹스처 오브 응용자(MoE) 아키텍처를 사용한다.
• 주제 인식형 게이팅 네트워크는 학습된 주제 임베딩에 기반해 전문가를 선택하고 조합함으로써, 각 비디오 활동에 맞는 동적 모델 조합을 가능하게 한다.
• 주제 임베딩는 각 활동과 관련된 TF-IDF 가중 단어를 사용해 외부 텍스트 코퍼스에서 유도되며, 새로운 동작에 대한 의미 사전 지식을 캡처한다.
• 게이팅 함수는 주제 임베딩에 조건부로 전문가 가중치를 예측하도록 엔드 투 엔드로 훈련되어, 암묵적인 지식 전이를 가능하게 한다.
• 시퀀스 투 시퀀스 프레임워크에 어텐션을 통합한 모델은 MoE 레이어를 표준 디코더 헤드 대체함으로써 다양한 맥락에 적합한 캡션을 생성한다.
• 모델 용량은 전문가 수와 차원 수를 조정하여 구성에 따라 균형을 맞춰 공정한 비교를 보장한다.

실험 결과

연구 질문

• RQ1 훈련 중에 본 적 없는 활동에 대해 비디오 캡션 모델이 정확한 설명을 생성할 수 있는가?
• RQ2 외부 텍스트 코퍼스에서 유도된 의미 지식을 효과적으로 비디오 캡션에 통합하여 제로샷 일반화 성능을 향상시킬 수 있는가?
• RQ3 고정된 모델 대비 동적 전문가 조합 메커니즘이 새로운 활동에 대한 캡션 품질을 얼마나 향상시킬 수 있는가?
• RQ4 주제 인식형 게이팅을 사용하면 볼 수 없는 도메인 활동에서 성능이 향상되면서도, 기존 활동에서는 높은 성능를 유지할 수 있는가?
• RQ5 전문가 수와 그 차원 수가 새로운 활동에 대한 일반화 능력에 어떻게 영향을 미치는가?

주요 결과

• TAMoE 모델은 '칼 갈이' 활동에서 CIDEr 점수 43.63을 기록하여 기준 모델(24.77)보다 18.86점 향상되어 강력한 제로샷 일반화 능력을 입증한다.
• 평균적으로 TAMoE는 15개의 새로운 활동 중 12개에서 기준 모델을 초월하며, ' mouthwash gargling '(52.03 vs. 11.09)과 'drumming'(39.44 vs. 31.70)에서 두드러진 성과를 보였다.
• 전문가 수 8개, 차원 수 256인 모델(n8_d256)이 최고의 성능을 기록하여, 모델 크기 증가보다 최적의 용량 균형이 더 중요함을 시사한다.
• 전문가 수 256개, 차원 수 128인 모델는 파라미터 수(~27.2M vs. ~17.9M)가 더 많음에도 불구하고 n8_d256 모델보다 성능이 열 劣하므로 전문가 수 증가에 따른 수익 감소 현상을 보였다.
• 정성적 결과는 TAMoE가 'fence', 'gargling', 'sharpening'과 같은 새로운 개념을 정확히 식별하고 기술함을 확인하였으며, 기준 모델이 이를 인식하지 못함을 보여준다.
• 외부 코퍼스에서 유도된 주제 임베딩가 키워드 'knife', 'stone', 'mouthwash'의 높은 TF-IDF 가중치를 통해 관련성 높은 캡션 생성을 효과적으로 이끌어내는 것으로 확인되었다.