[논문 리뷰] Learning to Discretely Compose Reasoning Module Networks for Video Captioning

Ganchao Tan, Daqing Liu외 2명|arXiv (Cornell University)|2020. 07. 17.

Multimodal Machine Learning Applications참고 문헌 36인용 수 6

한 줄 요약

이 논문은 언어적 손실에 의해 훈련된 이산적이고 Gumbel-근사된 모듈 선택기로 동적으로 세 가지 시공간적 추론 모듈—Locate, Relate, Func—를 조합하는 새로운 비디오 캡셔닝 프레임워크인 추론 모듈 네트워크(RMN)를 제안한다. RMN는 명시적이고 설명 가능한 추론 단계를 제공하며, MSVD와 MSR-VTT에서 각각 94.4와 49.6의 향상된 CIDEr 점수를 기록하여 최신 기준 성능을 달성한다.

ABSTRACT

Generating natural language descriptions for videos, i.e., video captioning, essentially requires step-by-step reasoning along the generation process. For example, to generate the sentence "a man is shooting a basketball", we need to first locate and describe the subject "man", next reason out the man is "shooting", then describe the object "basketball" of shooting. However, existing visual reasoning methods designed for visual question answering are not appropriate to video captioning, for it requires more complex visual reasoning on videos over both space and time, and dynamic module composition along the generation process. In this paper, we propose a novel visual reasoning approach for video captioning, named Reasoning Module Networks (RMN), to equip the existing encoder-decoder framework with the above reasoning capacity. Specifically, our RMN employs 1) three sophisticated spatio-temporal reasoning modules, and 2) a dynamic and discrete module selector trained by a linguistic loss with a Gumbel approximation. Extensive experiments on MSVD and MSR-VTT datasets demonstrate the proposed RMN outperforms the state-of-the-art methods while providing an explicit and explainable generation process. Our code is available at https://github.com/tgc1997/RMN.

연구 동기 및 목표

• 기존 비디오 캡처링 모델에서의 명시적이고 단계적인 시각적 추론 부족 문제를 해결하기 위해.
• 캡처 생성 중에 추론 모듈의 동적이고 이산적인 조합을 가능하게 하기 위해.
• 구성 요소(예: 품사 태그)를 추론 과정에 통합하여 캡처 품질을 향상시키기 위해.
• 공간과 시간을 아우르는 비디오 이해를 위한 전문화된 시공간 추론 모듈을 설계하기 위해.
• 해석 가능하고 설명 가능한 생성 과정을 통해 최신 기준 성능을 달성하기 위해.

제안 방법

• 모델은 세 가지 전용 시공간 추론 모듈을 사용한다: Locate(시각적 단어 생성을 위한 시공간 어텐션), Relate(행동 단어 생성을 위한 쌍별 영역 상호작용), Func(언어적 맥락을 고려한 기능어 생성).
• 이산적 모듈 선택기는 Gumbel-Softmax를 사용하여 각 디코딩 단계에서 세 모듈 중 하나를 동적으로 선택함으로써 미분 가능한 샘플링을 가능하게 한다.
• 모듈 선택기는 품사(POS) 태그 감독 기반의 언어적 손실을 사용하여 훈련되어, 모듈 선택이 문법적 구조와 일치하도록 한다.
• 캡처링을 위한 교차 엔트로피 손실과 모듈 선택을 위한 언어적 손실의 조합을 사용하여 엔드 투 엔드로 훈련 가능한 프레임워크이다.
• 표준 인코더-디코더 아키텍처를 사용하며, 비디오 특징 추출을 위해 CNN 백본을, 자동회귀적 캡처 생성을 위해 RNN 디코더를 사용한다.
• Gumbel-근사화는 이산적 모듈 선택을 통해 역전파를 가능하게 하여 모듈과 선택기의 공동 최적화를 허용한다.

실험 결과

연구 질문

• RQ1 동적이고 이산적인 모듈 조합 메커니즘이 비디오 캡처링에서 추론 능력을 향상시킬 수 있는가?
• RQ2 언어적 구조(예: 품사 태그)는 캡처 생성 중에 모듈 선택을 안내하는 데 효과적으로 통합될 수 있는가?
• RQ3 전용 시공간 추론 모듈(Locate, Relate, Func)은 더 해석 가능하고 정확한 캡처링을 이끌 수 있는가?
• RQ4 Gumbel-근사화된 이산 선택기는 추론 모듈 네트워크의 엔드 투 엔드 훈련을 가능하게 하는가?
• RQ5 언어적 감독을 통합하면 모듈 선택 정확도와 전체 캡처 품질이 향상되는가?

주요 결과

• RMN은 MSVD 및 MSR-VTT 데이터셋 모두에서 새로운 최신 기준 성능을 달성하였으며, MSR-VTT에서 CIDEr 점수 94.4, MSVD에서 92.8을 기록하였다.
• 언어적 손실은 모든 지표에서 일관되게 성능을 향상시켜, 모듈 선택이 문법적 구조와 일치하도록 하는 데 효과적임을 입증하였다.
• 워드 클라우드 분석은 각 모듈가 각각의 의도된 기능에 특화되어 있음을 확인한다: Locate는 시각적 단어(예: 'man', 'basketball')에 특화되고, Relate는 행동 단어(예: 'shooting', 'playing')에 특화되고, Func는 기능어(예: 'a', 'is')에 특화된다.
• 모델의 생성 과정은 명시적이고 설명 가능하며, 각 단계에서 명확히 정의된 추론 모듈이 각 단어를 생성한다.
• RMN (H+L)는 RMN (S+L)보다 성능이 뛰어나, 언어적 감독을 통한 하드 샘플링이 소프트 퓨전보다 더 좋은 결과를 낸다는 것을 시사한다.
• 제거 실험 결과는 언어적 손실이 모듈 선택 정확도와 전체 캡처 품질을 크게 향상시킴을 확인하였다.