[論文レビュー] Dividing and Conquering Cross-Modal Recipe Retrieval: from Nearest Neighbours Baselines to SoTA

Mikhail Fain, Twomey, Niall+3 more|arXiv (Cornell University)|Nov 28, 2019

Topic Modeling参考文献 56被引用数 15

ひとこと要約

本稿では、事前に計算された画像およびテキスト埋め込みを用いる、シンプルでありながら強力な非パrametric手法であるクロスモーダルk近傍法（CkNN）を提案する。自己教師あり画像およびテキストエンコーダーにCkNNを適用することで、Recipe1M（Recall@1が64.8%）で最先端の性能を達成し、政治関連およびGoodNewsデータセットに対しても効果的に一般化され、エンドツーエンドのトレーニングを一切行わず、最小限の複雑さで先行手法を上回る性能を発揮する。

ABSTRACT

We propose a novel non-parametric method for cross-modal recipe retrieval which is applied on top of precomputed image and text embeddings. By combining our method with standard approaches for building image and text encoders, trained independently with a self-supervised classification objective, we create a baseline model which outperforms most existing methods on a challenging image-to-recipe task. We also use our method for comparing image and text encoders trained using different modern approaches, thus addressing the issues hindering the development of novel methods for cross-modal recipe retrieval. We demonstrate how to use the insights from model comparison and extend our baseline model with standard triplet loss that improves state-of-the-art on the Recipe1M dataset by a large margin, while using only precomputed features and with much less complexity than existing methods. Further, our approach readily generalizes beyond recipe retrieval to other challenging domains, achieving state-of-the-art performance on Politics and GoodNews cross-modal retrieval tasks.

研究の動機と目的

• クロスモーダルレシピ検索における強力でシンプルなベースラインの欠如に取り組むこと、特に画像からテキストへのマッチングに焦点を当てる。
• 特に画像およびテキストエンコーダーの各コンponentの公平な比較を可能にする。
• 複雑なエンドツーエンドアーキテクチャに依存せずに、エンコーダーの強みと弱みを体系的に特定するフレームワークを構築すること。
• 事前に計算された特徴量と最小限のアーキテクチャ変更のみを用いて、Recipe1Mにおける最先端の性能を向上させること。
• 本手法が、レシピ検索を越えて、他の挑戦的なクロスモーダル検索タスクへも一般化できることを示すこと。

提案手法

• CkNNは、埋め込み空間におけるモダリティ間距離を測定することで、与えられた画像に対応するテキストをk近傍法を用いて検索する。
• 本手法は、エンドツーエンドではなく自己教師あり対照的目的関数により最適化された独立して訓練された画像およびテキストエンコーダー上で動作する。
• 距離に基づく検索は、事前に計算された画像およびテキスト埋め込み間のコサイン類似度を用いて実行される。
• 異なるエンコーダー（例：ResNet、AWE-Encoder）を同じCkNNフレームワークで評価することで、コンponentレベルの性能を分離してモデル比較を可能にする。
• エンコーダーの再トレーニングを伴わずに、事前に計算された埋め込みに標準的なトリプレット損失を適用することで、ベースラインを向上させる。
• 同じハイパーパramータとCkNN推論パイプラインを再利用することで、PoliticsやGoodNewsなどの他のデータセットに対しても一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 事前に計算された埋め込み上でkNNベースの検索手法が、クロスモーダルレシピ検索の強力で競争力のあるベースラインとして機能できるか？
• RQ2 CkNNは、異なるモデル間で画像およびテキストエンコーダーのコンponentを公平かつ体系的に比較できるか、その程度はどの程度か？
• RQ3 エンコーダー比較から得られる知見は、エンドツーエンドトレーニングや複雑なアーキテクチャを一切用いずに、Recipe1Mにおける性能向上に顕著な寄与をもたらせるか？
• RQ4 提案手法は、レシピ検索を越えて、他のクロスモーダル検索ベンチマークに対しても効果的に一般化できるか？
• RQ5 PoliticsやGoodNewsのような多様なデータセットにおいて、CkNNの性能は最先端の手法と比較してどの程度か？

主な発見

• Politicsデータセットの画像からテキストへのタスクにおいて、CkNNは64.8%のRecall@1を達成し、最高の公表済み結果と一致する。
• GoodNewsデータセットでは、CkNNが88.6%のRecall@1を達成し、最先端の性能と一致する。
• 事前に計算された特徴量にトリプレット損失を適用することで、Recipe1Mにおける最先端の性能が64.8%のRecall@1に向上し、先行のSoTAを著しく上回る。
• エンドツーエンドトレーニングやモデル固有のチューニングを一切行わず、ベースラインのCkNNモデルそのものが、3つのデータセットすべてで競争力のある性能を発揮する。
• フレームワークにより、特定のエンコーダー要因による性能向上の帰属が明確に可能となり、アブレーションやモデル分析が簡素化される。
• 同じハイパーパramータを用いて、ドメインを越えて良好に一般化し、レシピおよび非レシピのクロスモーダル検索タスクの両方で強力な性能を示す。