[論文レビュー] Dynamically Visual Disambiguation of Keyword-based Image Search

Yazhou Yao, Zeren Sun+7 more|arXiv (Cornell University)|May 27, 2019

Advanced Image and Video Retrieval Techniques参考文献 37被引用数 6

ひとこと要約

本稿では、キーワードベースの画像検索における視覚的多義性を解消するための動的で適応的なフレームワークを提案する。検索結果から自動的にテキストクエリを発見・選択し、局所化を促進する深層マルチインスタンス学習ネットワークを用いて外れ値を除去し、明確に区別された視覚的分類器を学習する。本手法は、CMU-Poly-30およびMIT-ISDデータセットにおいて最先端の性能を達成し、ウェブ画像コレクションの事前学習ステップとして用いることで、下流の細分化認識の精度を顕著に向上させる。

ABSTRACT

Due to the high cost of manual annotation, learning directly from the web has attracted broad attention. One issue that limits their performance is the problem of visual polysemy. To address this issue, we present an adaptive multi-model framework that resolves polysemy by visual disambiguation. Compared to existing methods, the primary advantage of our approach lies in that our approach can adapt to the dynamic changes in the search results. Our proposed framework consists of two major steps: we first discover and dynamically select the text queries according to the image search results, then we employ the proposed saliency-guided deep multi-instance learning network to remove outliers and learn classification models for visual disambiguation. Extensive experiments demonstrate the superiority of our proposed approach.

研究の動機と目的

• ウェブ画像検索における視覚的多義性に対処すること。ここでは、1つのキーワードが複数の視覚的に異なる概念を指すことがある。
• 従来の静的またはクラスタリングベースの手法とは異なり、時間の経過に伴い変化する画像検索結果に適応できる手法を開発すること。
• 人間によるアノテーションリソースに依存せずに、検索結果から関連するテキストクエリを自動的に発見すること。
• ノイズの多い画像をフィルタリングし、意味特化された視覚的カテゴリを選択することで、ウェブ教師あり学習の質を向上させること。
• ウェブ画像に基づく学習の効率性と正確性を向上させるための前処理ステップを提供すること。

提案手法

• n-gramの依存関係にNOUN修飾子を用いて、変化する検索結果に適応可能な、画像検索結果から候補テキストクエリを動的に発見する。
• 各画像インスタンスのための判別的特徴を生成するために、局所化を促進する深層マルチインスタンス学習（MIL）ネットワークを採用する。
• MILネットワークでインスタンスレベルの特徴を画像レベルの表現に統合するために、最大プーリング、平均プーリング、対数プーリングの操作を用いる。
• 2ストリームネットワークアーキテクチャを採用：1つは物体局所化（SGN）に、もう1つは分類（DMIL）に使用。SGNが特徴学習をガイドする。
• 学習されたモデルを用いて、画像を明確に区別された視覚的意味に分類し、'coach' や 'apple' のような多義的キーワードの意味を効果的に解消する。
• ウェブ画像ベースの学習の前処理ステップとして本フレームワークを統合し、下流タスクのためのデータ品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 キーワードベースの画像検索結果における変化する視覚的意味に、フレームワークが時間経過に伴い動的に適応できるか？
• RQ2 検索結果から自動的にテキストクエリを発見することが、視覚的多義性解消の性能向上にどの程度有効か？
• RQ3 局所化を促進する深層MILネットワークは、多義的ウェブ画像におけるノイズ低減と分類性能向上にどの程度効果的か？
• RQ4 画像ソース（例：Google、Bing、Flickr）の選択が、多義性解消性能にどのように影響するか？
• RQ5 より深い畳み込みニューラルネットワーク（CNN）アーキテクチャや、より多くの学習サンプルを使用することで、視覚的多義性解消の頑健性と正確性が向上するか？

主な発見

• 提案手法は、CMU-Poly-30データセットにおいて最先端の性能を達成し、既存手法と比較してACA（平均クラス正答率）が向上した。
• 本フレームワークを前処理ステップとして用いることで、CUB-200-2011データセットの細分化認識正答率が、元のウェブデータの71.8％から、クリーンなウェブ画像と元の学習セットを組み合わせた場合に86.3％に向上した。
• GoogleとBingの画像検索エンジンから得た画像は、Flickrからのものよりも顕著に優れた多義性解消性能を示した。
• MILネットワークにおける最大プーリング操作が、平均プーリングおよび対数プーリングを上回り、判別的特徴を効果的に捉えていることが示された。
• VGG-16のようなより深いCNNアーキテクチャは、AlexNetのような浅いものよりも優れており、特にウェブ画像内の物体局所化において顕著な性能向上を示した。
• 1クエリあたりの学習サンプル数を増やすことで、性能が一貫して向上し、本手法がデータ量に応じてスケーラブルであることが示された。