[논문 리뷰] Refined Semantic Enhancement towards Frequency Diffusion for Video Captioning

Xian Zhong, Zipeng Li외 4명|arXiv (Cornell University)|2022. 11. 28.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 빈도 기반 확산과 분리된 의미 감독을 통해 저빈도, 의미적으로 핵심적인 토큰의 생성을 향상시키는 Refined Semantic Enhancement towards Frequency Diffusion (RSFD)를 제안한다. FAD(주파수 인지 확산) 모듈은 주파수를 고려한 확산을 통해 저빈도 토큰의 이해를 강화하고, DSS(다양한 의미 감독자)는 확산 과정에서 잃어버린 고빈도 토큰의 의미를 보완한다. 이로 인해 MSR-VTT(+2.0 CIDEr)와 MSVD(+5.3 CIDEr)에서 최신 기준 성능을 달성한다.

ABSTRACT

Video captioning aims to generate natural language sentences that describe the given video accurately. Existing methods obtain favorable generation by exploring richer visual representations in encode phase or improving the decoding ability. However, the long-tailed problem hinders these attempts at low-frequency tokens, which rarely occur but carry critical semantics, playing a vital role in the detailed generation. In this paper, we introduce a novel Refined Semantic enhancement method towards Frequency Diffusion (RSFD), a captioning model that constantly perceives the linguistic representation of the infrequent tokens. Concretely, a Frequency-Aware Diffusion (FAD) module is proposed to comprehend the semantics of low-frequency tokens to break through generation limitations. In this way, the caption is refined by promoting the absorption of tokens with insufficient occurrence. Based on FAD, we design a Divergent Semantic Supervisor (DSS) module to compensate for the information loss of high-frequency tokens brought by the diffusion process, where the semantics of low-frequency tokens is further emphasized to alleviate the long-tailed problem. Extensive experiments indicate that RSFD outperforms the state-of-the-art methods on two benchmark datasets, i.e., MSR-VTT and MSVD, demonstrate that the enhancement of low-frequency tokens semantics can obtain a competitive generation effect. Code is available at https://github.com/lzp870/RSFD.

연구 동기 및 목표

• 학습 중에 저빈도 토큰이 부족하게 나타나는 비디오 캡셔닝의 장긴 꼬리 문제를 해결한다. 이 토큰들은 의미적으로 핵심적이지만, 일반적으로 희귀하다.
• 기존 모델이 고빈도 단어를 선호함으로써 테스트 생성 시 의미가 빈약한 기술을 유도하는 한계를 극복한다.
• 외부 지식에 의존하지 않고도 모델이 희귀하지만 의미 있는 토큰을 더 잘 인지하고 생성할 수 있도록 의미의 풍부함을 향상시킨다.
• 기반 확산 기반 의미 전파로 인해 발생하는 고빈도 토큰의 정보 손실을 완화하여 다양한 빈도의 토큰 간 균형 잡힌 학습을 보장한다.

제안 방법

• 코퍼스 수준 및 비디오 수준의 발생 빈도를 기반으로 토큰을 고빈도, 저빈도, 미기록으로 분류한다.
• 주파수를 고려한 확산을 통해 고빈도 토큰의 의미를 저빈도 토큰으로 전파하는 주파수 인지 확산(FAD)을 도입한다.
• 진짜 캡션을 의미 공간에 매핑하고, 확산 기반 메커니즘을 통해 저빈도 토큰과 고빈도 토큰을 융합함으로써 FAD를 적용한다.
• 이웃 단어들을 다수의 강사로 활용하여 중심 단어를 감시하는 분리된 의미 감독자(DSS)를 설계한다. 이를 통해 빈도별 의미 보완이 가능하다.
• 주의 기반 감시를 DSS에 적용하여 고빈도 및 저빈도 토큰을 모두 정밀하게 보완하며, 각 주파수 범주에 맞는 독립된 감시 전략을 적용한다.
• FAD와 DSS를 트랜스포머 기반 인코더-디코더 아키텍처에 통합하여 외부 모듈 없이도 엔드 투 엔드 학습 및 추론이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 주파수 인지 확산은 비디오 캡셔닝에서 저빈도 토큰의 학습 및 생성 능력을 향상시키는 데 효과적인가?
• RQ2 다수의 맥락 인지 강사가 고빈도 토큰을 감시함으로써 확산 과정으로 인한 정보 손실을 줄일 수 있는가?
• RQ3 FAD와 DSS의 병합적 사용은 비디오 캡셔닝의 장긴 꼬리 문제를 완화하면서도 고빈도 토큰의 품질을 유지하는가?
• RQ4 저빈도 토큰 의미에 집중할 경우, 벤치마크 데이터셋에서 전체 캡셔닝 성능 향상은 어느 정도 이루어지는가?
• RQ5 최신 기준 모델 대비 제안된 방법은 더 구체적이고 의미적으로 풍부한 캡셔닝을 생성하는 데 얼마나 뛰어난가?

주요 결과

• RSFD는 MSR-VTT에서 43.4 CIDEr 점수를 기록하여 기준 모델 AR-B 대비 2.0점 향상되며, 캡션 품질 향상이 뚜렷하다.
• MSVD에서는 51.2 CIDEr 점수를 기록하여 AR-B 기준 모델 대비 5.3점 향상되며, 다양한 비디오 콘텐츠에 대한 강력한 일반화 능력을 보여준다.
• FAD 모듈만으로도 MSR-VTT에서 CIDEr 점수를 1.8점, MSVD에서는 1.7점 향상시켜 저빈도 토큰 학습 향상의 효과를 입증한다.
• DSS 모듈은 확산 과정으로 인한 고빈도 토큰의 의미 열화를 보완하여, 'swims'와 같은 고빈도 단어의 발생 확률을 0.579에서 0.656으로 높인다.
• 정성적 결과 분석에서 RSFD는 더 세부적이고 정확한 캡션을 생성함을 확인할 수 있었으며, 기준 모델이 놓친 희귀어인 'ocean'이나 'airplane' 등을 정확히 예측한다.
• 제거 실험 결과, FAD와 DSS를 결합할 경우 최고의 성능을 기록하며, 각 구성 요소가 의미 정교화 및 빈도 균형에 독자적으로 기여하고 있음을 확인한다.