[論文レビュー] Fashion-IQ 2020 Challenge 2nd Place Team's Solution

Minchul Shin, Yoon‐Jae Cho+1 more|arXiv (Cornell University)|Jul 13, 2020

Generative Adversarial Networks and Image Synthesis参考文献 13被引用数 4

ひとこと要約

本論文では、Nブロックにわたるチャネルワイドなアテンションモジュールを用いて、テキストに条件づけられたターゲットとキャノンリアル画像特徴量の残差を学習する、新しいマルチモーダルコンpositions手法RTICを提示する。本手法は、画像とテキストエンコーダー（ResNet-101/152、LSTM/GRUとGloVe埋め込み）を組み合わせ、多様なモデルの類似度スコアをベイジアン最適化で重み付けする反復的アンサンブル戦略を用いて、Fashion-IQ 2020コンテストで2位となり、テストスコア48.02を達成した。

ABSTRACT

This paper is dedicated to team VAA's approach submitted to the Fashion-IQ challenge in CVPR 2020. Given a pair of the image and the text, we present a novel multimodal composition method, RTIC, that can effectively combine the text and the image modalities into a semantic space. We extract the image and the text features that are encoded by the CNNs and the sequential models (e.g., LSTM or GRU), respectively. To emphasize the meaning of the residual of the feature between the target and candidate, the RTIC is composed of N-blocks with channel-wise attention modules. Then, we add the encoded residual to the feature of the candidate image to obtain a synthesized feature. We also explored an ensemble strategy with variants of models and achieved a significant boost in performance comparing to the best single model. Finally, our approach achieved 2nd place in the Fashion-IQ 2020 Challenge with a test score of 48.02 on the leaderboard.

研究の動機と目的

• 画像とテキストモダリティを共有の意味的空間に効果的に統合することで、ファッション画像検索の性能を向上させること。
• テキストに条件づけられたアテンション機構を用いて、ターゲットとキャノンリアル画像特徴量の残差差をモデル化すること。
• 最適化された重み付けを用いた複数の異なるモデルを統合する反復的アンサンブル戦略により、検索性能を向上させること。
• 外部データセットでの事前学習を一切行わず、Fashion-IQ 2020ベンチマークで最先端の性能を達成すること。

提案手法

• Nブロックにわたるチャネルワイドアテンションを用いてゲーティングを行うことで、ターゲットとキャノニカル画像特徴量の残差をモデル化するマルチモーダルコンポジターRTICを提案する。
• 2本のブランチからなるエンコーダーを採用：画像にはResNet-101/152、テキストには2層のLSTM+GRUと900次元のGloVe初期化済み単語埋め込みを用いる。
• ハードネガティブマイニングを伴うトリプレット損失とAdamW最適化手法を適用し、画像およびテキストエンコーダーの学習率を微調整する。
• 最良の検証スコア行列を新たなキャノニカルとして反復的に統合するアンサンブルプロセスを採用し、最適な重みはベイジアン最適化（hyperopt）で特定する。
• DeepFashionのオフザシェルIR特徴量と一致させる知識蒸留を統合し、画像エンコーダーとマルチモーダルコンポジターの出力を一致させる。
• ランダムな水平反転、アフィン変換、およびアスペクト比を保ったパディングを用いた224×224へのリサイズを含むデータオーグメンテーションを実施する。

実験結果

リサーチクエスチョン

• RQ1 TIRGのような既存手法に比べ、残差ベースのマルチモーダルコンポジション手法は、ファッション画像検索において優れた性能を発揮できるか？
• RQ2 段階的に最高性能のスコア行列を統合することで、反復的アンサンブル戦略は効果的か？
• RQ3 事前学習なしに、多様なモデルを最適化された重み付けで統合することで、どの程度性能が向上するか？
• RQ4 ハイブリッドテキストエンコーダー（LSTM + GRU）と高次元特徴空間の使用は、検索精度の向上に寄与するか？

主な発見

• RTICを用いた最良の単一モデルは、検証セットで平均リCALL 38.22を達成し、ベースラインRTIC（33.24）に比べ顕著な向上を示した。
• テキストのみ、IRマッチ、TIRG、RTICの4つの異なるモデルのアンサンブルは、検証セットで45.05を達成し、モデル多様性による顕著な性能向上を示した。
• 反復的アンサンブルプロセスにより、検証スコアは45.05から47.55に向上した。
• 最終的なテストスコアは、検証ペアの80％を訓練に使用し、追加のモデルからの結果を統合したことで48.02に達し、最良の単一モデルに比べ25.6％の性能向上を達成した。
• アンサンブルプロセスにおける重み選択にベイジアン最適化を用いたことが、テスト性能の最大化に不可欠であった。
• ハイパーパramータチューニングを実施したが、SoftTriple、Multi-Similarity、Circle損失などの代替損失関数では、性能向上が観察されなかった。