[論文レビュー] Learning High-level Image Representation for Image Retrieval via Multi-Task DNN using Clickthrough Data

Yalong Bai, Kuiyuan Yang+3 more|arXiv (Cornell University)|Dec 17, 2013

Advanced Image and Video Retrieval Techniques参考文献 13被引用数 10

ひとこと要約

本稿では、クリックスルーデータから画像検索のための高レベルな画像表現を学ぶために、リングトレーニングを用いたマルチタスク深層ニューラルネットワーク（DNN）を提案している。この手法は、クエリと画像の間の意味的ギャップを解消することを目的としている。クエリ間で特徴抽出層を共有し、関連性スコア算出にクエリ固有の層を用いることで、実世界の画像検索ベンチマークで最先端の性能を達成し、バイナリおよびマルチクラスDNNベースラインを上回っている。

ABSTRACT

Image retrieval refers to finding relevant images from an image database for a query, which is considered difficult for the gap between low-level representation of images and high-level representation of queries. Recently further developed Deep Neural Network sheds light on automatically learning high-level image representation from raw pixels. In this paper, we proposed a multi-task DNN learned for image retrieval, which contains two parts, i.e., query-sharing layers for image representation computation and query-specific layers for relevance estimation. The weights of multi-task DNN are learned on clickthrough data by Ring Training. Experimental results on both simulated and real dataset show the effectiveness of the proposed method.

研究の動機と目的

• 画像検索における高レベルなクエリと低レベルな画像特徴の間の意味的ギャップを解消すること。
• 数百万件のクエリとクリックされた画像を含む大規模なクリックスルーデータを活用し、画像表現の教師あり学習を行うこと。
• 膨大で長尾型のクエリ分布および重複する概念を扱う際のバイナリおよびマルチクラスDNNの限界を克服すること。
• クエリ間で視覚的表現を共有しながらも、クエリ固有の関連性に適応できるスケーラブルで転移可能な深層学習フレームワークを構築すること。
• 共有重みとクエリ固有重みを共同最適化する新しいトレーニング戦略、リングトレーニングを用いて、画像検索のランク付け性能を向上させること。

提案手法

• モデルは、2つのコンponentからなるマルチタスクDNNアーキテクチャを採用している：共有画像特徴抽出用のクエリ共有層と、関連性スコア算出用のクエリ固有層。
• 関連性スコアは $ r(I,q) = \psi(\phi(I;W_s);W_q) $ で計算され、ここで $ \phi $ は画像特徴を抽出し、$ \psi $ はクエリ固有の重みを用いて関連性を計算する。
• 目的関数はクリックスルーデータ上の分類損失を最小化する：$ \min_{\Theta} J(\Theta) = \frac{1}{N} \sum_{i=1}^{M} \sum_{j=1}^{n_i} L(g(I_j^i,q_i), r(I_j^i,q_i)) $。
• リングトレーニングは、共有重み $ W_s $ とクエリ固有重み $ W_{q_i} $ を交互に更新する共同最適化手法であり、汎化性能と収束性を向上させる。
• リングトレーニング後、共有層の特徴を抽出し、最終的な関連性ランク付けにSVMに投入する。
• ネットワークアーキテクチャには、5層の畳み込み層、2層の全結合層、ReLU活性化関数、マックスプーリング、応答正規化が含まれ、入力サイズは $ 224 \times 224 $。

実験結果

リサーチクエスチョン

• RQ1 マルチタスクDNNアーキテクチャは、クリックスルーデータから高レベルな画像表現を効果的に学習し、画像検索における意味的ギャップを埋めることができるか？
• RQ2 リングトレーニングは、大規模で長尾型のクリックスルーデータセットにおいて、共有重みとクエリ固有重みの学習をどのように改善するか？
• RQ3 提案手法は、バイナリおよびマルチクラスDNNベースラインに比べ、画像検索のランク付け性能で優れているか？
• RQ4 クエリ間で共有された特徴学習は、特にレアまたはテールクエリにおいて、一般化性能をどの程度向上させるか？
• RQ5 本モデルは、数百万件のクエリと重いテール分布を持つ実世界の画像検索タスクに、良好に一般化できるか？

主な発見

• 提案されたマルチタスクDNNにリングトレーニングを適用した結果、MSR-BingテストセットでDCG25スコアが0.502に達し、ランダムランク（0.468）およびSIFTベースのSVM（0.484）を上回った。
• シミュレーテッドデータセットでは、平均平均精度がそれぞれ32.36%（dataset1）、30.4%（dataset2）、36.68%（dataset3）低下し、バイナリおよびマルチクラスベースラインに比して一貫した改善が確認された。
• リングトレーニングにより、共有重みとクエリ固有重みの効果的な共同最適化が可能になり、収束性と性能が向上した。特に、学習データが限られるテールクエリにおいて顕著であった。
• モデルはクリックスルーデータの長尾型分布を効果的に処理でき、96%以上のクエリが1,000件未満のクリック済み画像しか持たない状況でも、マルチクラスDNNがスケール上で不適切であったのに対し、優れた性能を発揮した。
• マルチタスクDNNによって学習された視覚的特徴は、SIFTベースの特徴よりもより判別力に富んでおり、SVMベースの評価において優れたランク付け性能が示された。
• 実世界のデータにおいて、本アーキテクチャは頑健性とスケーラビリティを示し、最終的なモデルはMSR-Bing Image Retrieval Challengeデータセットで最先端の性能を達成した。