[논문 리뷰] Visual Clues: Bridging Vision and Language Foundations for Image Paragraph Captioning

Yujia Xie, Luowei Zhou외 5명|arXiv (Cornell University)|2022. 06. 03.

Multimodal Machine Learning Applications인용 수 9

한 줄 요약

이 논문은 이미지 문단 캡션 생성을 위해 시각적 단서—시각 기반 모델에서 유도된 구조적 텍스트 프롬프트—를 사용하는 BEST라는 프레임워크를 제안한다. 대규모 모델의 제로샷 능력과 폐쇄형 피드백 검증을 활용하여, 이전 방법보다 우수한 성능을 보이는 고품질의 통합적인 이미지 기술을 생성한다. 이는 이미지 문단 캡션 및 시각적 질의 응답(VQA) 벤치마크에서 최신 기술 수준을 달성한다.

ABSTRACT

People say, "A picture is worth a thousand words". Then how can we get the rich information out of the image? We argue that by using visual clues to bridge large pretrained vision foundation models and language models, we can do so without any extra cross-modal training. Thanks to the strong zero-shot capability of foundation models, we start by constructing a rich semantic representation of the image (e.g., image tags, object attributes / locations, captions) as a structured textual prompt, called visual clues, using a vision foundation model. Based on visual clues, we use large language model to produce a series of comprehensive descriptions for the visual content, which is then verified by the vision model again to select the candidate that aligns best with the image. We evaluate the quality of generated descriptions by quantitative and qualitative measurement. The results demonstrate the effectiveness of such a structured semantic representation.

연구 동기 및 목표

• 객체 중심 레이블을 초월해 통합적이고 기술적인 이미지 표현이 필요하다는 점을 해결하기 위해.
• 교차 모odal 피넷유닝 없이도 제로샷 이미지 문단 캡션 생성을 가능하게 하기 위해 시각적 단서를 활용하기 위해.
• 폐쇄형 피드백 검증 메커니즘을 통해 생성된 기술의 신뢰성과 일관성을 향상시키기 위해.
• 스냅샷 그래프와 같은 복잡한 시각적 개념을 표현하는 데에 시각적 단서의 효과를 평가하기 위해.
• VQA 및 이미지 캡션과 같은 다양한 시각-언어 작업에 걸쳐 프레임워크의 일반화 능력을 입증하기 위해.

제안 방법

• 시각 기반 모델(Florence)을 사용해 개방형 어휘 객체 태그, 특성, 위치, 영역 기술어를 추출함으로써 시각적 단서를 구성한다.
• 이러한 시각적 단서는 텍스트 프롬프트로 구조화되어 대규모 언어 모델(GPT-3 등)에 입력되어 종합적인 이미지 기술을 생성한다.
• 폐쇄형 피드백 검증 단계에서는 시각 모델을 다시 사용해 생성된 기술을 재평가하고 원본 이미지와 가장 높은 일치도를 보이는 것을 선택한다.
• 예측된 그래프와 인간이 태그한 그래프를 비교함으로써 스냅샷 그래프 정확도를 정량적 지표로 사용해 생성된 기술의 품질을 평가한다.
• 이 프레임워크는 이미지 문단 캡션 및 시각적 질의 응답(VQA)에 대해 평가되며, 생성형 및 분류형 평가 전략을 모두 적용한다.
• 허구 및 특성 오연결 문제를 완화하기 위해 필터링 메커니즘이 적용되지만, 여전히 한계가 존재한다.

실험 결과

연구 질문

• RQ1 시각 기반 모델에서 파생된 시각적 단서가 언어 모델 생성을 위한 통합적 시각 콘텐츠를 효과적으로 표현할 수 있는가?
• RQ2 엔드 투 엔드 피넷유닝된 모델에 비해 제로샷 폐쇄형 프레임워크가 이미지 문단 기술의 신뢰성과 일관성에 기여하는가?
• RQ3 시각적 단서가 얼마나 정확한 스냅샷 그래프 예측 및 다양한 시각-언어 작업 간 일반화를 지원하는가?
• RQ4 특히 공통 지식 추론 및 시각적 이해 능력 측면에서, 피넷유닝 없이 VQA 작업에서 이 프레임워크는 어떤 성능을 보이는가?
• RQ5 시스템의 실패 유형은 무엇이며, 특히 특성 오연결 및 허구 문제에 대해 어떤 특징을 보이는가?

주요 결과

• BEST는 분류형 평가 방법을 사용해 GQA 벤치마크에서 39.93%의 VQA 정확도를 달성했으며, 이는 사크라틱 모델(26.89%)을 크게 앞서며 강력한 제로샷 일반화 성능을 입증했다.
• 생성형 평가 방법을 사용해 OK-VQA 데이터셋에서 28.89%의 정확도를 기록했으며, 이는 공통 지식 추론 작업에서 뛰어난 성능을 보였다.
• 시각적 단서와 폐쇄형 피드백 검증을 활용해 이미지 문단 캡션 분야에서 새로운 최신 기술 수준 성능을 달성했으며, 이는 기술의 기술적 품질과 사실 일관성 측면에서 이전 방법을 뛰어넘었다.
• 인간 평가와의 상관관계가 BLEU나 CIDEr와 같은传통적 지표보다 더 높게 나타나 스냅샷 그래프 정확도가 통합적 기술 평가에 적합한 지표임을 입증했다.
• 실패 케이스 분석을 통해 특성-객체 연관 오류 문제, 즉 이미지 내 다른 곳에 존재하는 특성을 잘못된 주어에 연결하는 허구 현상이 확인되었다.
• 강력한 성능에도 불구하고 시스템은 사회적 편향 및 모욕적 언어에 취약하여 실세계 적용에 있어 추가적인 필터링 메커니즘이 필요함을 시사했다.