[論文レビュー] Deep Binaries: Encoding Semantic-Rich Cues for Efficient Textual-Visual Cross Retrieval

Yuming Shen, Li Liu+2 more|arXiv (Cornell University)|Aug 8, 2017

Advanced Image and Video Retrieval Techniques参考文献 64被引用数 7

ひとこと要約

本論文では、効率的なクロスモーダル検索のため、意味的豊富な画像領域と長い記述文をコン act なバイナリコードに符号化する深層学習フレームワークである Textual-Visual Deep Binaries (TVDB) を提案する。画像とテキストの両方の特徴を、領域ベースの CNN と LSTMs、およびテキスト-CNN を用い、ステージワイズのバッチ単位の学習戦略を組み合わせることで、COCO、IAPR TC-12、INRIA Web Queries データセットにおいて、既存のバイナリハッシング手法を著しく上回る最先端の性能を達成する。

ABSTRACT

Cross-modal hashing is usually regarded as an effective technique for large-scale textual-visual cross retrieval, where data from different modalities are mapped into a shared Hamming space for matching. Most of the traditional textual-visual binary encoding methods only consider holistic image representations and fail to model descriptive sentences. This renders existing methods inappropriate to handle the rich semantics of informative cross-modal data for quality textual-visual search tasks. To address the problem of hashing cross-modal data with semantic-rich cues, in this paper, a novel integrated deep architecture is developed to effectively encode the detailed semantics of informative images and long descriptive sentences, named as Textual-Visual Deep Binaries (TVDB). In particular, region-based convolutional networks with long short-term memory units are introduced to fully explore image regional details while semantic cues of sentences are modeled by a text convolutional network. Additionally, we propose a stochastic batch-wise training routine, where high-quality binary codes and deep encoding functions are efficiently optimized in an alternating manner. Experiments are conducted on three multimedia datasets, i.e. Microsoft COCO, IAPR TC-12, and INRIA Web Queries, where the proposed TVDB model significantly outperforms state-of-the-art binary coding methods in the task of cross-modal retrieval.

研究の動機と目的

• 既存のクロスモーダルハッシング手法が、全体的な画像表現と粗いテキスト特徴に依存するという限界を是正すること。これにより、詳細な意味的情報を捉えることができない。
• 画像領域と長大な記述文の両方から豊富な意味的手がかりをモデル化し、より優れたクロスモーダル検索を実現すること。
• ミニバッチ単位で交互にバイナリコードと深層符号化関数を最適化する、確率的バッチ単位の学習戦略を構築すること。
• 大規模データに対して計算効率を維持しつつ、コン act なバイナリコードで高い検索精度を達成すること。

提案手法

• TVDB は、画像領域からの詳細な空間的および意味的情報を符号化するために、領域ベースの畳み込みニューラルネットワークと LSTM ユニットを用いる。
• 長大な記述文における語の間の順序的依存関係と構造的手がかりをモデル化するために、テキスト-CNN を用いる。
• ミニバッチ内でのバイナリコードと深層符号化関数を交互に最適化する確率的バッチ単位の学習ルーチンを採用し、収束性と一般化性能を向上させる。
• トレーニングデータから導出された類似度行列を用いて、トレース最大化によりバイナリコードの最適化を誘導する。
• バックプロパゲーションと互換性を保つために、微分可能リラクゼーション戦略を用いてバイナリコードを離散的に更新する。
• 予測されたクロスモーダル類似度と真値の類似度の差を、共有されたハミング空間内で最小化するように、モデルを共同で学習させる。

実験結果

リサーチクエスチョン

• RQ1 領域ベースの画像意味的特徴と文レベルの依存関係を捉える深層バイナリ符号化は、クロスモーダル検索性能を向上させることができるか？
• RQ2 確率的バッチ単位の学習戦略は、エポック単位のコード最適化に比べ、収束が速く一般化性能が優れているか？
• RQ3 領域ベースの画像特徴とテキスト-CNN の統合は、全体的画像表現と bag-of-words テキスト特徴に比べ、どのようにクロスモーダルハッシングにおいて優れているか？
• RQ4 提案手法は、ベンチマークデータセットにおいて、最先端のバイナリハッシング技術をどの程度上回っているか？

主な発見

• TVDB は、Microsoft COCO、IAPR TC-12、INRIA Web Queries の3つのベンチマークデータセットにおいて、意味的豊富な平均平均精度（MAP）を最先端水準で達成し、既存のバイナリ符号化手法を著しく上回った。
• アブレーションスタディの結果、領域ベースの画像特徴を削除した場合（TVDB-I1、TVDB-I2）や、bag-of-words をテキストに用いた場合（TVDB-T1）には、検索性能が著しく低下した。
• テキスト-CNN を LSTM に置き換えた場合（TVDB-T2）は、bag-of-words よりも優れた性能を示したが、依然として完全な TVDB モデルに劣った。これにより、提案されたテキスト-CNN アーキテクチャの有効性が裏付けられた。
• 確率的バッチ単位の学習戦略は、エポック単位のコード学習ベースライン（TVDB-E1、TVDB-E2）と比較して、収束が速く、ピーク性能も高いことを示した。
• トレーニング中にバイナリコードを固定する TVDB-N は、速やかに収束したが、顕著に低い性能を示した。これは、コードとネットワークパラメータの共同最適化の必要性を示している。
• 128ビットのコードを用いても高い検索精度を達成しており、トップ5の検索結果では、'people'、'bike'、'street' といった複数のオブジェクトを含む複雑な文の照合照合が正しく行われた。