[論文レビュー] Image Retrieval on Real-life Images with Pre-trained Vision-and-Language Models

Zheyuan Liu, Cristian Rodríguez-Opazo+2 more|arXiv (Cornell University)|Aug 9, 2021

Multimodal Machine Learning Applications参考文献 41被引用数 8

ひとこと要約

本稿では、36,000件の実生活の画像・テキストペアからなる大規模なオープンドメインデータセットCIRRと、事前学習済みの視覚・言語表現を活用して自然言語によって視覚的特徴を条件付きで変更するトランスフォーマー基盤のモデルCIRPLANTを紹介する。CIRPLANTは、オープンドメインCIRRおよび狭域ドメインFashion-IQの両ベンチマークで最先端の性能を達成し、複雑で現実的な文脈における微細な視覚的推論に、視覚・言語事前学習の有効性を示している。

ABSTRACT

We extend the task of composed image retrieval, where an input query consists of an image and short textual description of how to modify the image. Existing methods have only been applied to non-complex images within narrow domains, such as fashion products, thereby limiting the scope of study on in-depth visual reasoning in rich image and language contexts. To address this issue, we collect the Compose Image Retrieval on Real-life images (CIRR) dataset, which consists of over 36,000 pairs of crowd-sourced, open-domain images with human-generated modifying text. To extend current methods to the open-domain, we propose CIRPLANT, a transformer based model that leverages rich pre-trained vision-and-language (V&L) knowledge for modifying visual features conditioned on natural language. Retrieval is then done by nearest neighbor lookup on the modified features. We demonstrate that with a relatively simple architecture, CIRPLANT outperforms existing methods on open-domain images, while matching state-of-the-art accuracy on the existing narrow datasets, such as fashion. Together with the release of CIRR, we believe this work will inspire further research on composed image retrieval.

研究の動機と目的

• 既存の合成画像検索データセットには、ファッションなど狭域ドメインに限定されており、オープンドメインで複雑な実生活の画像を含まないという制限があることに対処する。
• 視覚的および言語的文脈が豊かで曖昧な状況下で、微細な属性の変化を検出する必要がある、微細な視覚的推論を研究する。
• 大規模な事前学習済み視覚・言語モデルを効果的に活用して、オープンドメインの合成画像検索を実現する手法を開発する。
• 完全にラベル付けされたサブセットを用いた評価を可能にすることで、既存のデータセットで一般的な偽陰性を排除する。
• 今後の研究における段階的で対話型の画像検索および微細な視覚言語的理解を促進する。

提案手法

• 視覚的に類似した画像の違いに特に注目した、人間がアノテートした変更を含む36,000件のオープンドメインで実生活の画像・テキストペアからなるCIRRを収集する。
• 画像とテキスト入力を共同で埋め込むために、事前学習済みの視覚・言語モデル（例：OSCAR）を用いるトランスフォーマー基盤のモデルCIRPLANTを提案する。
• 視覚・言語事前学習モデルを、テキスト記述に応じて画像特徴を適応的に変更するように変更し、グローバルな画像特徴を保持しながら、クロスアテンションによってテキスト記述に適応させる。
• 特徴の変更後のクエリ特徴と候補画像特徴の間のℓ₂ノルム距離を用いて検索を実行するメトリック学習パイプラインを採用する。
• 推論時に全ペairワイズスコアリングの計算コストが高くなるのを避けるために、再帰的でない、分類を行わないアプローチを採用する。
• トランスフォーマーの自己注意機構を活用して、変更テキスト内の個々の単語に注目させ、言語的手がかりの微細な理解を可能にする。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの視覚・言語モデルは、複雑な視覚的および言語的ニュアンスを伴うオープンドメインで実生活の画像設定において、合成画像検索を効果的に支援できるか？
• RQ2 トランスフォーマーのアーキテクチャが、LSTMのようなシーケンスエンコーディングモデルと比較して、個々の単語に注目できる能力により、検索性能をどのように向上させるか？
• RQ3 視覚・言語事前学習は、事前学習データとは異なるドメインにおいて、合成画像検索に知識をどれだけ転送できるか？
• RQ4 変更テキストが微細で内蔵された変化を記述する場合、視覚的に類似した画像を区別する能力はどの程度向上するか？
• RQ5 統合されたモデルが、オープンドメインおよび狭域ドメインの両方の合成画像検索ベンチマークで最先端の性能を達成できるか？

主な発見

• OSCAR初期化を用いたCIRPLANTは、TIRG や MAAF を含む既存の手法を上回り、Fashion-IQ データセットで最先端の性能を達成した。
• CIRR データセットでは、微調整なしでCIRPLANTがすべての先行SoTA手法を上回り、オープンドメイン画像へのゼロショット一般化能力が顕著に優れていることを示した。
• 微細な視覚的推論を要するクエリのサブセットにおいて、CIRPLANTは顕著に高いRecallを達成しており、'人々を案内する'のような微細な言語的手がかりを捉える能力に優れていることが示された。
• CIRPLANTのCIRRにおける性能はFashion-IQほど高くないが、実生活の画像の複雑さと多様性に起因するドメインシフトの課題があると考えられる。
• 定性的な分析から、CIRPLANTはレアな視覚的コンセプト（例：舗装）や内蔵された要件（例：犬の品種を保持する）をよりよく捉えていることが分かったが、微細な属性の保持タスクでは依然として失敗している。
• 失敗事例から、画像間で特定の属性（例：犬の品種）を保持することが依然として大きな課題であることが明らかになり、微細な視覚言語的グランドイングの向上が求められることが示された。