[논문 리뷰] LoopITR: Combining Dual and Cross Encoder Architectures for Image-Text Retrieval

Jie Lei, Xinlei Chen외 5명|arXiv (Cornell University)|2022. 03. 10.

Image Retrieval and Classification Techniques인용 수 6

한 줄 요약

LoopITR는 루프형 디스틸레이션 메커니즘을 통해 이중 인코더와 크로스 인코더를 동시에 훈련하는 통합 아키텍처를 제안한다: 이중 인코더는 크로스 인코더의 하드 네거티브 예를 제공하고, 크로스 인코더의 개선된 예측 결과가 다시 이중 인코더를 향해 디스틸레이션된다. 이 연합 훈련 방식은 추가 비용을 최소화하면서 Flickr30K와 COCO에서 최신 이론적 이중 인코더 성능을 달성한다.

ABSTRACT

Dual encoders and cross encoders have been widely used for image-text retrieval. Between the two, the dual encoder encodes the image and text independently followed by a dot product, while the cross encoder jointly feeds image and text as the input and performs dense multi-modal fusion. These two architectures are typically modeled separately without interaction. In this work, we propose LoopITR, which combines them in the same network for joint learning. Specifically, we let the dual encoder provide hard negatives to the cross encoder, and use the more discriminative cross encoder to distill its predictions back to the dual encoder. Both steps are efficiently performed together in the same model. Our work centers on empirical analyses of this combined architecture, putting the main focus on the design of the distillation objective. Our experimental results highlight the benefits of training the two encoders in the same network, and demonstrate that distillation can be quite effective with just a few hard negative examples. Experiments on two standard datasets (Flickr30K and COCO) show our approach achieves state-of-the-art dual encoder performance when compared with approaches using a similar amount of data.

연구 동기 및 목표

• 이중 및 크로스 인코더를 별도로 훈련하는 데서 비롯하는 제약을 해결하기 위해, 상호 성능 향상이 이루어지지 않는 문제를 해결한다.
• 더 표현력이 뛰어난 크로스 인코더에서 효율적인 이중 인코더로 지식을 전이할 수 있는 효과적인 디스틸레이션 목표를 설계한다.
• 소수의 하드 네거티브만으로도 이중 인코더 성능을 크게 향상시킬 수 있는지 조사한다.
• 디스틸레이션 적용 시점(사전 훈련 vs. 피니어튜닝)이 검색 성능에 미치는 영향을 평가한다.
• 이미지-텍스트 검색 맥락에서 다양한 교사 모델(온라인, 오프라인, 모멘타임)의 디스틸레이션 성능에 미치는 영향을 비교한다.

제안 방법

• 모델은 효율성을 위해 공유된 이미지 및 텍스트 인코더를 갖춘 단일 네트워크에 이중 인코더와 크로스 인코더를 통합한다.
• 이중 인코더의 대비 스코어에서 배치 내 하드 네거티브를 미닝하고, 이를 크로스 인코더 훈련에 사용한다.
• 온도 조정이 적용된 소프트 레이블 손실을 통해 크로스 인코더의 매칭 스코어에서 이중 인코더의 로짓으로 지식 디스틸레이션을 적용한다.
• 이중 인코더의 디스틸레이션 목표는 이미지 및 텍스트 네거티브를 모두 사용하여 더 정보가 풍부한 교사 분포를 구성함으로써 일반화 성능을 향상시킨다.
• 온라인 교사 모델을 사용하여 별도의 사전 훈련이나 모델 저장이 필요 없게 하여 메모리 및 계산 비용을 감소시킨다.
• 성능 향상을 극대화하기 위해 사전 훈련 및 피니어튜닝 단계 모두에 디스틸레이션을 적용한다.

실험 결과

연구 질문

• RQ1 루프 아키텍처를 통해 이중 및 크로스 인코더를 연합 훈련하면 별도 훈련 대비 검색 성능 향상이 이루어지는가?
• RQ2 소수의 하드 네거티브(예: 4개)만으로도 크로스 인코더에서 이중 인코더로의 지식 디스틸레이션이 얼마나 효과적인가?
• RQ3 이미지-텍스트 검색 맥락에서 온라인, 오프라인, 모멘타임 등 교사 모델의 선택이 디스틸레이션 성능에 상당한 영향을 미치는가?
• RQ4 디스틸레이션을 사전 훈련 단계, 피니어튜닝 단계, 또는 양쪽 단계 모두에 적용할 경우 성능 향상이 더 크며, 이는 어느 단계에서 적용할 때 더 효과적인가?
• RQ5 일관된 데이터 및 계산 예산을 가진 기존 최신 이론적 이중 인코더보다 온라인 디스틸레이션을 갖춘 단일 통합 모델이 더 뛰어난 성능을 낼 수 있는가?

주요 결과

• LoopITR는 Flickr30K와 COCO에서 각각 R@1이 89.6과 94.5로 최신 이론적 이중 인코더 성능을 달성하며, 크로스 인코더 재정렬을 사용할 경우 성능 향상이 뚜렷하다.
• 단지 네 개의 하드 네거티브(이미지 2개, 텍스트 2개)만으로도 이중 인코더 성능 향상이 뚜렷하게 이루어진다.
• 온라인 교사 모델이 가장 우수한 성능을 보이며, 추가 모델 저장이나 훈련이 필요 없어져 메모리 및 계산 비용이 모두 감소된다.
• 사전 훈련 및 피니어튜닝 단계 모두에 디스틸레이션을 적용할 경우 성능 향상이 가장 크게 나타나 단일 단계 디스틸레이션보다 뛰어난 성능을 낸다.
• 디스틸레이션 목표에 이미지 및 텍스트 네거티브를 모두 사용할 경우, 단일 모odal(모odal)만 사용하는 것보다 더 강력하고 정보가 풍부한 소프트 레이블을 생성한다.