[論文レビュー] PinView: Implicit Feedback in Content-Based Image Retrieval

Zakria Hussain, Arto Klami+7 more|arXiv (Cornell University)|Oct 2, 2014

Image Retrieval and Classification Techniques参考文献 40被引用数 7

ひとこと要約

PinView は、眼動-tracking からの暗黙的フィードバックとクリックからの明示的フィードバックを活用してユーザーの意図を推定し、動的に画像類似度メトリクスを適応させるコンテンツベース画像検索システムである。複数カーネル学習と探索・活用アルゴリズム（LinRel）を用いることで、PinView はベースライン手法を上回り、オンラインユーザースタディーにおいて、眼動-tracking とクリックの両方のフィードバックを組み合わせた場合が最も優れた検索性能を示した。

ABSTRACT

This paper describes PinView, a content-based image retrieval system that exploits implicit relevance feedback collected during a search session. PinView contains several novel methods to infer the intent of the user. From relevance feedback, such as eye movements or pointer clicks, and visual features of images, PinView learns a similarity metric between images which depends on the current interests of the user. It then retrieves images with a specialized online learning algorithm that balances the tradeoff between exploring new images and exploiting the already inferred interests of the user. We have integrated PinView to the content-based image retrieval system PicSOM, which enables applying PinView to real-world image databases. With the new algorithms PinView outperforms the original PicSOM, and in online experiments with real users the combination of implicit and explicit feedback gives the best results.

研究の動機と目的

• 暗黙的および明示的フィードバックからのユーザー意図推定により、コンテンツベース画像検索における意味的ギャップを解消すること。
• 検索セッション中のユーザー行動に基づき、動的に個人化された画像類似度メトリクスを学習するシステムを開発すること。
• オンライン学習を用いて、新しい画像の発見（探索）と、推定されたユーザーの好みの活用（活用）のバランスを取ること。
• 実世界の検索シナリオにおいて、暗黙的フィードバック（注視）と明示的フィードバック（クリック）の有効性を評価すること。

提案手法

• 画像検索中のユーザーの関心を推定するために、眼動-tracking データとマウスクリックを、それぞれ暗黙的および明示的関連性信号として使用する。
• 視覚特徴（色、テクスチャ、エッジ）からのカスタマイズされた、ユーザー固有の画像類似度メトリクスを学習するために、テンソル射影を用いた複数カーネル学習（MKL）を適用する。
• オンライン探索・活用のための LinRel アルゴリズムを用い、新しい画像の発見と、すでに推定された関連画像の検索のバランスを取る。
• PicSOM というコンテンツベース画像検索フレームワークに PinView システムを統合し、実世界での導入を可能にする。
• 低レベルの視覚特徴を活用し、MKL を用いてそれらを組み合わせ、現在のユーザー セッションに関連する画像類似度の多様な側面を捉える。
• 注視時間と注視パターンを暗黙的フィードバック信号として使用し、注視時間が長いほど関連性が高いと仮定する。

実験結果

リサーチクエスチョン

• RQ1 眼動の動きからの暗黙的フィードバックは、ランダムなブラウジングと比較して、コンテンツベース画像検索のパフォーマンスを効果的に向上させることができるか？
• RQ2 画像検索タスクにおいて、注視に基づく暗黙的フィードバックとクリックによる明示的フィードバックのパフォーマンスは、どのように比較できるか？
• RQ3 暗黙的（注視）と明示的（クリック）フィードバックを組み合わせることで、単独で使用する場合よりも優れた検索結果が得られるか？
• RQ4 システムの適応的類似度メトリクスは、静的または非適応的メソッドと比較して、どの程度検索精度を向上させるか？
• RQ5 ユーザーインターフェースの設計とデータ特性は、実世界の画像検索における暗黙的フィードバックの有効性にどのように影響するか？

主な発見

• オフラインおよびオンライン実験の両方で、注視からの暗黙的フィードバックはランダムな画像選択を上回った。これは、注視パターンが関連性信号として有効であることを示している。
• クリックからの明示的フィードバックは、注視のみのフィードバックよりも顕著に高いパフォーマンスを示した（p = 0.046）。しかし、注視のみでもランダム選択を上回った。
• 注視とクリックの両方のフィードバックを組み合わせた場合が最も高い検索パフォーマンスを示し、注視のみのフィードバックと比較して有意差（p = 0.0065）が確認された。
• オンライン実験では、組み合わせモダリティがクリックのみのフィードバックを上回った（p = 0.059）。これは、実ユーザーのフィードバックがシミュレートされたフィードバックよりも正確である可能性を示唆している。
• 注視ベースのフィードバックは、最良の組み合わせモダリティが検索した関連画像の平均67％を達成した。これは強力ではあるが、最適ではない性能であることを示している。
• システムのパフォーマンスは、オフラインシミュレーションよりもオンライン環境でより効果的であった。これは、実ユーザー行動がより信頼できるフィードバック信号を提供していることを示している。