[論文レビュー] RTIC: Residual Learning for Text and Image Composition using Graph Convolutional Network

Minchul Shin, Yoonjae Cho+2 more|arXiv (Cornell University)|Apr 7, 2021

Multimodal Machine Learning Applications参考文献 39被引用数 23

ひとこと要約

本論文は、テキストに条件づけられたソース画像とターゲット画像の差分を効果的に符号化するためにスキップ接続を用いたリーマン学習を活用する、新しい画像・テキスト合成モデルRTICを提案する。さらに、汎化性能を向上させるためのプラグアンドプレイ型GCNベースの正則化手法を導入し、アンサンブル手法やドメイン特化のチューニングを一切用いずに、統一的かつ最適な訓練環境でベンチマーク全体で最先端の性能を達成した。

ABSTRACT

In this paper, we study the compositional learning of images and texts for image retrieval. The query is given in the form of an image and text that describes the desired modifications to the image; the goal is to retrieve the target image that satisfies the given modifications and resembles the query by composing information in both the text and image modalities. To remedy this, we propose a novel architecture designed for the image-text composition task and show that the proposed structure can effectively encode the differences between the source and target images conditioned on the text. Furthermore, we introduce a new joint training technique based on the graph convolutional network that is generally applicable for any existing composition methods in a plug-and-play manner. We found that the proposed technique consistently improves performance and achieves state-of-the-art scores on various benchmarks. To avoid misleading experimental results caused by trivial training hyper-parameters, we reproduce all individual baselines and train models with a unified training environment. We expect this approach to suppress undesirable effects from irrelevant components and emphasize the image-text composition module's ability. Also, we achieve the state-of-the-art score without restricting the training environment, which implies the superiority of our method considering the gains from hyper-parameter tuning. The code, including all the baseline methods, are released https://github.com/nashory/rtic-gcn-pytorch.

研究の動機と目的

• ソース画像とターゲット画像の間の差分を直接に残差学習で学習する、より効果的で解釈可能な画像・テキスト合成モデルの開発。
• データ不足問題を解消するため、一般化性能を向上させるためにグラフ畳み込みネットワーク（GCN）ベースの正則化手法を導入。
• すべてのモデルを統一的・標準化された訓練環境で訓練することで、合成手法の公平かつ客観的な比較を可能にする。
• 性能向上がハイパーパrameterチューニングや訓練パイプラインのアーチファクトではなく、合成モジュール自体の効果によるものであることを示す。
• 提案されたGCNストリームが、既存の任意の合成手法に普遍的に適用可能であり、プラグアンドプレイ型正則化器として機能することを示す。

提案手法

• RTICは、スキップ接続を用いて潜在空間でソース画像とターゲット画像の差分を明示的にモデル化するリーマン学習アーキテクチャを導入する。
• モデルはテキストに条件づけられた専用の誤差符号化ブロックを用い、望ましい視覚的変更のみを分離して表現する。
• 特徴量の類似度に基づいて構築される類似度グラフを活用し、画像・テキストペア間の意味的・視覚的類似度をエッジで表現する、新しいGCNストリームを提案。
• ノードは画像・テキストペアを表し、エッジはそれらの意味的および視覚的類似度を符号化する。
• GCNストリームと共同訓練することで、類似した画像・テキストペア間で情報伝達が可能となり、限られたデータでも一般化性能が向上する半教師あり学習が実現される。
• 本手法は、既存の任意の合成モジュールと互換性があり、本モデルのアーキテクチャを変更することなく追加可能である。

実験結果

リサーチクエスチョン

• RQ1 スキップ接続を用いたリーマン学習は、画像・テキスト合成におけるソース画像とターゲット画像の差分を効果的にモデル化できるか？
• RQ2 グラフ畳み込みネットワーク（GCN）ベースの正則化手法は、プラグアンドプレイ形式で、既存の画像・テキスト合成モデルの性能を向上させられるか？
• RQ3 提案手法は、アンサンブル手法や複雑な損失関数の組み合わせに依存せずに、ベンチマーク全体で最先端の性能を達成できるか？
• RQ4 ハイパーパrameterやパイプライン部品の影響はどの程度であり、統一された訓練環境が手法間の公平な比較を保証できるか？
• RQ5 GCNストリームで使用するグラフの品質が、正則化手法による性能向上にどの程度影響を与えるか？

主な発見

• ハイパーパrameter最適化後、Fashion-IQベンチマークで単一モデルとして38.22の性能を達成し、より最近の手法を上回った。
• GCNストリームは、すべてのベースラインで一貫して性能向上をもたらした：TIRGは+2.21%、MRNは+1.56%、ComposeAEはRTICが構築したグラフを用いることで+33.97%向上。
• 提案されたGCNストリームは推論時において追加のGPUメモリを必要とせず、高い効率性を発揮するが、トレーニング時のメモリ使用量は増加する。
• アブレーションスタディの結果、ハイパーパrameterチューニングのみで性能が最大13%（33.24から38.22に）向上したことが判明し、公平な比較のための標準化された訓練が重要であることが示された。
• t-SNE可視化により、誤差符号化ブロックが色やパターンといった属性を正しく分離しており、特定のテキストクエリに条件づけられた場合に明確なクラスタが形成されていることが確認された。
• アンサンブル手法やマルチステージ特徴量集約を一切使用せず、最先端の結果を達成した。これは、コアアーキテクチャと正則化の有効性を裏付けるものである。