[논문 리뷰] TransVG++: End-to-End Visual Grounding with Language Conditioned Vision Transformer

Jiajun Deng, Zhengyuan Yang외 6명|arXiv (Cornell University)|2022. 06. 14.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 복잡하고 수작업으로 설계된 융합 모듈을 대체하기 위해 언어 조건부 비전 트랜스포머(LC-ViT)를 통합한 순수 트랜스포머 기반 엔드 투 엔드 시각적 기반 프레임워크인 TransVG++를 제안한다. 비전 트랜스포머 기반의 중간층에 언어 유도 주의 메커니즘을 통합함으로써 TransVG++는 다섯 개인 기준 데이터셋에서 최고 성능을 기록하며 정확도와 효율성을 향상시켰다. 이는 단순한 자기주의 주의 기반 융합이 히우리스틱 융합 메커니즘을 능가함을 보여준다.

ABSTRACT

In this work, we explore neat yet effective Transformer-based frameworks for visual grounding. The previous methods generally address the core problem of visual grounding, i.e., multi-modal fusion and reasoning, with manually-designed mechanisms. Such heuristic designs are not only complicated but also make models easily overfit specific data distributions. To avoid this, we first propose TransVG, which establishes multi-modal correspondences by Transformers and localizes referred regions by directly regressing box coordinates. We empirically show that complicated fusion modules can be replaced by a simple stack of Transformer encoder layers with higher performance. However, the core fusion Transformer in TransVG is stand-alone against uni-modal encoders, and thus should be trained from scratch on limited visual grounding data, which makes it hard to be optimized and leads to sub-optimal performance. To this end, we further introduce TransVG++ to make two-fold improvements. For one thing, we upgrade our framework to a purely Transformer-based one by leveraging Vision Transformer (ViT) for vision feature encoding. For another, we devise Language Conditioned Vision Transformer that removes external fusion modules and reuses the uni-modal ViT for vision-language fusion at the intermediate layers. We conduct extensive experiments on five prevalent datasets, and report a series of state-of-the-art records.

연구 동기 및 목표

• 특정 데이터 분포에 과적합되고 다중 모odal 상호작용을 제한하는 히우리스틱으로 수작업 설계된 융합 모듈의 한계를 해결하기 위해.
• 복잡한 아키텍처를 표준 트랜스포머 인코더 레이어 스택으로 대체함으로써 다중 모달 융합을 단순화하고, 더 효과적이고 일반화 가능한 특징 학습을 가능하게 하기 위해.
• 외부 융합 모듈이 필요 없도록 언어 조건부 조건을 비전 인코더의 중간층에 직접 통합함으로써 엔드 투 엔드 학습이 가능하고, 더 나은 파라미터 효율성을 확보하기 위해.
• CNN-트랜스포머 하이브리드 아키텍처에서 순수 트랜스포머 기반 설계로 전환함으로써 계산 병목 현상을 줄이고 모델의 효율성과 확장성을 향상시키기 위해.
• 통합적이고 해석 가능하며 파라미터 효율적인 프레임워크를 통해 여러 시각적 기반 기준 데이터셋에서 최고 성능을 달성하기 위해.

제안 방법

• 외부 융합 모듈 없이 공동 시각-언어 추론을 수행하기 위해 표준 트랜스포머 인코더 레이어 스택을 사용하는 초기 엔드 투 엔드 시각적 기반 프레임워크인 TransVG를 제안한다.
• 비전 트랜스포머 기반의 중간층에 언어 임베딩을 통합하여 다중 척도에서 다중 모달 융합을 가능하게 하는 언어 조건부 비전 트랜스포머(LC-ViT)를 도입한다.
• 영역 제안이나 앵커 박스가 필요 없도록 학습 가능한 [REG] 토큰을 통해 바운딩 박스 좌표를 직접 회귀한다.
• 비전 특징 추출을 위해 비전 트랜스포머(ViT) 기반의 비전 인코더를 사용하여, 순수 트랜스포머 기반 아키텍처를 달성한다. 이는 컨볼루션 기반 백본을 대체한다.
• 파라미터와 계산 비용을 줄이기 위해 경량 언어 어댑터를 사용하며, 전체 모델의 효율성에 거의 영향을 주지 않는다.
• 모델 전체가 엔드 투 엔드로 훈련 가능한 통합 훈련 파라다임을 채택하여 시각적 및 언어적 표현의 공동 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 표준 트랜스포머 인코더 레이어의 단순한 스택이 복잡하고 수작업으로 설계된 융합 모듈을 효과적으로 대체할 수 있는가?
• RQ2 비전 트랜스포머 기반의 중간층에 언어 조건부 조건을 통합하면 다중 모달 표현 학습과 정렬 정확도가 향상되는가?
• RQ3 완전히 트랜스포머 기반 아키텍처가 계산 비용을 유지하거나 감소시키면서도 하이브리드 CNN-트랜스포머 설계를 능가할 수 있는가?
• RQ4 기존 최고 성능 모델들과 비교해 복잡한 언어적 표현이 포함된 다양한 기준 데이터셋에서 제안된 방법의 성능은 어떠한가?
• RQ5 언어 어댑터와 LC-ViT와 같은 제안된 구성 요소들이 모델 효율성과 파라미터 효율성에 얼마나 기여하는가?

주요 결과

• TransVG++는 RefCOCO, RefCOCO+, RefCOCOg를 포함한 다섯 개인 표준 시각적 기반 기준 데이터셋에서 최고 성능을 기록하며 이전 방법들을 능가한다.
• TransVG++(base)에서 시각 브랜치(LViT)는 총 FLOPs의 97.7%를 차지하며, 이는 시각적 특징 처리의 계산적 우세성을 보여준다.
• TransVG++(tiny)에서 언어 어댑터는 오직 0.92G FLOPs를 차지하며, 언어 조건부 비전 브랜치의 계산량의 4.99%에 불과하고 전체 모델 FLOPs의 3.64%에 해당한다.
• 정성적 결과 분석에서 [REG] 토큰이 명확하고 해석 가능한 방식으로 참조된 객체에 주의를 기울이며, TransVG++는 초기 TransVG보다 더 선명하고 정확한 주의 맵을 생성한다.
• 제거 실험 결과에서 복잡한 융합 모듈을 단순한 트랜스포머 스택으로 대체함으로써 성능 향상과 다양한 참조 표현에 대한 더 나은 일반화 능력이 입증되었다.
• 스페이셜 관계나 장문의 설명과 같은 복잡한 언어적 구조에 대해 강력한 강인성을 보이며, 도전적인 예시에서도 성공적인 정렬이 이루어짐을 입증했다.