[논문 리뷰] Zero-Shot Video Captioning with Evolving Pseudo-Tokens

Yoad Tewel, Yoav Shalev외 3명|arXiv (Cornell University)|2022. 07. 22.

Multimodal Machine Learning Applications인용 수 14

한 줄 요약

이 논문은 고정된 GPT-2 및 CLIP 프레임워크 내에서 학습 가능한 가짜 토큰을 반복 최적화하는 방식으로, 피드백 없이도 일관되고 지식 기반의 캡션을 생성하는 제로샷 비디오 캡션 방법을 제안한다. 유사도 점수를 최대화하면서도 유창성을 유지하기 위해 프롬프트를 반복적으로 개선함으로써, 미세조정 없이도 점차 더 구체적이고 기반된 캡션을 생성하며, 유창성과 기반성 측면에서 최신 제로샷 접근법을 능가한다.

ABSTRACT

We introduce a zero-shot video captioning method that employs two frozen networks: the GPT-2 language model and the CLIP image-text matching model. The matching score is used to steer the language model toward generating a sentence that has a high average matching score to a subset of the video frames. Unlike zero-shot image captioning methods, our work considers the entire sentence at once. This is achieved by optimizing, during the generation process, part of the prompt from scratch, by modifying the representation of all other tokens in the prompt, and by repeating the process iteratively, gradually improving the specificity and comprehensiveness of the generated sentence. Our experiments show that the generated captions are coherent and display a broad range of real-world knowledge. Our code is available at: https://github.com/YoadTew/zero-shot-video-to-text

연구 동기 및 목표

• 대규모 고품질 인간 애너테이션 데이터셋이 부족한 상황에서 비디오 캡션 문제를 해결하기 위해.
• 미세조정 없이도 사전 학습된 모델을 활용해 자연스럽고 기반된 기술을 생성할 수 있도록 하기 위해.
• 새로운 반복적 프롬프트 개선 과정을 통해 개별 토큰이 아닌 전체 문장을 동시에 최적화함으로써 캡션 품질을 향상시키기 위해.
• 희소한 비디오 프레임에서 실제 세계 지식과 서사적 구조를 모델이 통합할 수 있도록 하기 위해.

제안 방법

• 이 방법은 두 개의 고정된 모델을 사용한다: 자동회귀적 텍스트 생성을 위한 GPT-2와 캡션 품질을 안내하기 위한 CLIP의 이미지-텍스트 매칭.
• 프롬프트는 세 구성 요소로 구성된다: 언어 모델의 잠재 공간 내 학습 가능한 가짜 토큰, 무작위 컨텍스트 프롬프트(예: '사진') 및 이전에 생성된 토큰.
• 자동회귀 생성 중에, 가짜 토큰은 생성된 문장의 평균 CLIP 매칭 점수를 최대화하기 위해 메모리에서 최적화되며, 대비 손실을 사용한다.
• 최적화 과정은 반복적으로 수행되며, 최대 16회 반복된다. 이전 반복의 개선된 가짜 토큰을 새로운 시작점으로 사용함으로써 점차 더 구체적이고 기반된 캡션을 생성한다.
• 이 과정은 언어 모델이 다음 토큰의 가능성 분포에 급격한 변화를 일으키지 않도록 규제하여, 유창성을 유지하면서 입력 프레임과의 일치도를 향상시킨다.
• 최종 캡션은 모든 반복 과정에서 가장 높은 CLIP 매칭 점수를 기록한 것을 선택한다.

실험 결과

연구 질문

• RQ1 애너테이션 데이터에 대한 미세조정 없이도 일관되고 지식 기반의 캡션을 생성할 수 있는 제로샷 비디오 캡션 방법은 가능한가?
• RQ2 반복적 프롬프트 개선을 통해 전체 문장을 동시에 최적화하는 방식이 토큰 수준 최적화보다 캡션 품질을 향상시키는가?
• RQ3 GPT-2 및 CLIP와 같은 고정 모델 기반의 방법이 희소한 비디오 프레임에서 논리적 사건 순서와 실제 세계 지식을 반영한 서사를 생성할 수 있는가?
• RQ4 가짜 토큰의 반복적 개선이 기존 제로샷 방법 대비 캡션의 기반성과 유창성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 인간 평가에서 5점 척도 기준 4.14점의 점수를 기록하여, 다음으로 높은 점수를 기록한 방법(2.30점)을 크게 앞서며 뛰어난 유창성과 기반성을 입증했다.
• 이미지 캡션에 대해서도 인간 평가에서 4.01점의 점수를 기록하여, 다음으로 높은 방법(2.52점)보다 뛰어난 성능을 보이며 시각 입력으로의 일반화 능력이 뛰어나다는 것을 시사한다.
• 반복 과정을 거치며 캡션의 구체성이 점차 향상되었으며, 초기에는 추상적 개념(예: '병사', '전투')에서 시작해 구체적 실체(예: '하루의 캐릭터')로, 마지막에는 서사적 맥락(예: '애니메이션 캐릭터')으로 발전했다.
• 한 비디오 예제에서 CLIP 매칭 점수는 16회의 반복 동안 0.70에서 0.88로 상승하여 입력 프레임과의 일치도 향상됨을 나타냈다.
• 미세조정을 통해 성능을 높인 감독 학습 기반 방법(예: MAGIC)에 비해, 퍼즐러피티(PP) 지표로 측정한 유창성과 일관성 측면에서 제안된 방법이 뛰어난 성능을 보였다.
• 무작위 이미지 세트에 대한 스트레스 테스트 결과, 입력 이미지 간 의미적 관련성이 없더라도 모델이 유창하고 서사적인 기술을 생성할 수 있었으며, 이는 인위적 추론 및 서사 구성 능력을 보여준다.