[논문 리뷰] EVP: Enhanced Visual Perception using Inverse Multi-Attentive Feature Refinement and Regularized Image-Text Alignment

Mykola Lavreniuk, Shariq Farooq Bhat외 2명|arXiv (Cornell University)|2023. 12. 13.

Advanced Vision and Imaging인용 수 4

한 줄 요약

이 논문은 Stable Diffusion U-Net 백본을 활용하여 역다중주의적 특징 정련(ImFR)과 정규화된 이미지-텍스트 정렬(RITA)을 통해 시각적 인식을 향상시키는 새로운 시각 모델 EVP를 제안한다. EVP는 단일 이미지 깊이 추정(뉴욕 대학 깊이 v2에서 RMSE 11.8% 감소 및 KITTI에서 새로운 SOTA 기록)과 참조 세그멘테이션(RefCOCO에서 IoU 2.53 향상)에서 최신 기준 성능을 달성한다.

ABSTRACT

This work presents the network architecture EVP (Enhanced Visual Perception). EVP builds on the previous work VPD which paved the way to use the Stable Diffusion network for computer vision tasks. We propose two major enhancements. First, we develop the Inverse Multi-Attentive Feature Refinement (IMAFR) module which enhances feature learning capabilities by aggregating spatial information from higher pyramid levels. Second, we propose a novel image-text alignment module for improved feature extraction of the Stable Diffusion backbone. The resulting architecture is suitable for a wide variety of tasks and we demonstrate its performance in the context of single-image depth estimation with a specialized decoder using classification-based bins and referring segmentation with an off-the-shelf decoder. Comprehensive experiments conducted on established datasets show that EVP achieves state-of-the-art results in single-image depth estimation for indoor (NYU Depth v2, 11.8% RMSE improvement over VPD) and outdoor (KITTI) environments, as well as referring segmentation (RefCOCO, 2.53 IoU improvement over ReLA). The code and pre-trained models are publicly available at https://github.com/Lavreniuk/EVP.

연구 동기 및 목표

• 기존 방법을 초월하여 특징 학습 및 이미지-텍스트 정렬을 향상시켜 단일 이미지에서 정량적 깊이 추정을 향상시키는 것.
• VPD의 한계, 특히 특징 정렬과 경계 선명도 문제를 해결하기 위해 새로운 아키텍처 구성 요소를 도입하는 것.
• 고정된 클래스 템플릿 대신 자유형 비디오-언어 기반 이미지 설명을 사용하여 다양한 시각 작업에서 강건한 제로샷 및 희소-shot 일반화를 가능하게 하는 것.
• 제안된 아키텍처가 깊이 추정 및 참조 세그멘테이션을 포함한 다양한 시각 작업에서 효과적인지 입증하는 것.
• 최소한의 미세조정으로 사전 훈련된 디퓨전 특징을 활용하는 공개 가능하고 고성능 모델을 제공하는 것.

제안 방법

• 다중 피라미드 수준에서 다중 헤드 어텐션을 사용하여 특징을 집계함으로써 공간적 및 의미적 표현을 향상시키는 역다중주의적 특징 정련(IMAFR) 모듈을 제안한다.
• BLIP-2에서 생성한 자유형 캡션을 사용하여 통합되고 풍부한 텍스트 임베딩을 생성하는 정규화된 이미지-텍스트 정렬(RITA) 모듈을 도입한다. 이는 이미지 특징와의 교차 어텐션 정렬을 향상시킨다.
• ZoeDepth의 영감을 얻어 메트릭 박스 기반의 분류 기반 디코더를 사용하여 이산적 깊이 분포를 학습함으로써 더 정확한 깊이 예측을 가능하게 한다.
• 사전 훈련된 Stable Diffusion U-Net을 시각 인코더로 활용하여 대규모 이미지-텍스트 사전 훈련에서 유래한 풍부한 다중 모odal 특징을 활용한다.
• U-Net의 스킵 연결을 통해 다중 척도 특징 정련 전략을 적용하여 모든 척도에서 특징 정련을 향상시킨다.
• 훈련 중 CLIP 텍스트 인코더 가중치를 미세조정하여 이미지와 텍스트 표현 간의 정렬을 향상시키며, 특히 자유형 설명을 사용할 경우에 유의미하게 향상된다.

실험 결과

연구 질문

• RQ1 계층적 또는 고정된 집계 방식과 비교해 볼 때, 역다중주의적 특징 집계가 단일 이미지 깊이 추정에서 특징 표현을 향상시키는가?
• RQ2 템플릿 기반 클래스 설명 대신 자유형 비디오-언어 기반 캡션을 사용할 경우, 이미지-텍스트 정렬 및 후속 성능이 향상되는가?
• RQ3 메트릭 박스 기반의 분류 기반 디코더가 사전 훈련된 디퓨전 백본과 함께 사용될 경우 깊이 추정 정확도를 크게 향상시킬 수 있는가?
• RQ4 제안된 아키텍처가 깊이 추정 및 참조 세그멘테이션을 포함한 다양한 시각 작업에서 얼마나 잘 일반화되는가?
• RQ5 IMAFR 및 RITA 모듈의 통합이 기준 VPD 아키텍처에 비해 모델 성능에 어떤 영향을 미치는가?

주요 결과

• NYU Depth v2 벤치마크에서 EVP는 RMSE를 0.254에서 0.224로 11.8% 상대적 감소시켜 실내 단일 카메라 깊이 추정 분야에서 새로운 SOTA를 수립한다.
• KITTI 데이터셋에서 EVP는 이전 SOTA 방법인 GEDepth보다 모든 7개 평가 지표에서 승리하여 실외 깊이 추정 분야에서 새로운 SOTA를 확립한다.
• RefCOCO에서의 참조 세그멘테이션 작업에서 EVP는 IoU 76.35를 기록하여 이전 SOTA 방법인 ReLA보다 2.53 포인트 향상시켰다.
• 제거 분석 결과, IMAFR, 메트릭 박스, 개별 CLIP 임베딩(이미지별)의 조합이 가장 뛰어난 성능을 내며, 개별 CLIP 벡터 전략(행 12)이 최적임을 확인했다.
• 훈련 중 CLIP 가중치를 동결할 경우 성능이 열악해지며, CLIP를 미세조정할 경우 정렬 및 결과가 크게 향상된다. 특히 자유형 캡션을 사용할 경우 두드러진다.
• 모델 성능은 이미지-텍스트 정렬 전략에 가장 민감하며, 명시적 클래스 레이블 없이도 BLIP-2에서 생성한 자유형 캡션은 템플릿 기반 설명보다 우수한 성능을 내는 것으로 나타났다.