[論文レビュー] LoopITR: Combining Dual and Cross Encoder Architectures for Image-Text Retrieval

Jie Lei, Xinlei Chen+5 more|arXiv (Cornell University)|Mar 10, 2022

Image Retrieval and Classification Techniques被引用数 6

ひとこと要約

LoopITRは、ループ型蒸留機構を用いて、画像・テキスト検索のためのデュアルエンコーダーとクロスエンコーダーを統合的なアーキテクチャで同時に学習する。デュアルエンコーダーがクロスエンコーダーにハードネガティブ例を提供し、クロスエンコーダーの改善された予測が逆にデュアルエンコーダーの性能向上に蒸留される。この共同学習により、追加コストを最小限に抑えつつ、Flickr30KおよびCOCOで最先端のデュアルエンコーダー性能を達成した。

ABSTRACT

Dual encoders and cross encoders have been widely used for image-text retrieval. Between the two, the dual encoder encodes the image and text independently followed by a dot product, while the cross encoder jointly feeds image and text as the input and performs dense multi-modal fusion. These two architectures are typically modeled separately without interaction. In this work, we propose LoopITR, which combines them in the same network for joint learning. Specifically, we let the dual encoder provide hard negatives to the cross encoder, and use the more discriminative cross encoder to distill its predictions back to the dual encoder. Both steps are efficiently performed together in the same model. Our work centers on empirical analyses of this combined architecture, putting the main focus on the design of the distillation objective. Our experimental results highlight the benefits of training the two encoders in the same network, and demonstrate that distillation can be quite effective with just a few hard negative examples. Experiments on two standard datasets (Flickr30K and COCO) show our approach achieves state-of-the-art dual encoder performance when compared with approaches using a similar amount of data.

研究の動機と目的

• デュアルエンコーダーとクロスエンコーダーを別々に学習する方法の制限を解消し、相互に性能向上を図ること。
• より表現力の高いクロスエンコーダーから、効率的なデュアルエンコーダーへ知識を効果的に転送するための蒸留目的を設計すること。
• 少数のハードネガティブ例での蒸留が、デュアルエンコーダーの性能を顕著に向上させられるかを調査すること。
• 蒸留のタイミング（事前学習 vs. ファインチューニング）が検索性能に与える影響を評価すること。
• 画像・テキスト検索の文脈において、異なる教師モデル（オンライン、オフライン、モーメンタム）の蒸留性能への影響を調査すること。

提案手法

• モデルは、効率性を高めるために、共有された画像およびテキストエンコーダーを有する1つのネットワークにデュアルエンコーダーとクロスエンコーダーを統合する。
• バッチ内からデュアルエンコーダーの対照的スコアに基づきハードネガティブ例をマイニングし、それらをクロスエンコーダーの学習に使用する。
• 温度スケーリングを用いたソフトラベル損失により、クロスエンコーダーのマッチングスコアからデュアルエンコーダーのログティスに知識蒸留を適用する。
• 教師分布をより情報豊かにするために、画像およびテキスト両方のネガティブ例を用いることで、一般化性能を向上させる。
• オンライン教師を用いることで、別個の事前学習やモデル保存の必要性がなくなり、メモリおよび計算コストを削減する。
• 性能向上の最大化を図るため、事前学習およびファインチューニングの両ステージで蒸留を適用する。

実験結果

リサーチクエスチョン

• RQ1 ループ型アーキテクチャによるデュアルエンコーダーとクロスエンコーダーの共同学習は、独立した学習に比べて検索性能を向上させることができるか？
• RQ2 少数のハードネガティブ例（4例）を用いたクロスエンコーダーからデュアルエンコーダーへの知識蒸留は、どれほど効果的か？
• RQ3 教師モデルの選択（オンライン、オフライン、モーメンタム）が、画像・テキスト検索における蒸留性能に顕著な影響を与えるか？
• RQ4 蒸留を事前学習段階、ファインチューニング段階、または両段階で適用した場合、どちらがより効果的か？
• RQ5 オンライン蒸留を用いた1つの統合モデルは、同程度のデータおよび計算リソースを有する既存の最先端デュアルエンコーダーを上回ることができるか？

主な発見

• LoopITRは、Flickr30KおよびCOCOの両データセットで、クロスエンコーダー再ランク付けを用いることで、それぞれR@1が89.6および94.5という最先端のデュアルエンコーダー性能を達成した。
• 4つのハードネガティブ例（画像2例、テキスト2例）での蒸留でも、デュアルエンコーダーの性能向上が顕著に達成された。
• オンライン教師が最も優れた性能を示し、追加のモデル保存や学習の必要性がなく、メモリおよび計算コストの両方を削減した。
• 事前学習およびファインチューニングの両段階で蒸留を適用した場合、単一段階での蒸留よりも顕著な性能向上が得られた。
• 蒸留目的において画像およびテキスト両方のネガティブ例を用いることで、単一モodalitの使用よりもより頑健で情報豊かなソフトラベルが得られた。