[論文レビュー] Visual Discovery at Pinterest

Andrew Zhai, Dmitry Kislyuk+6 more|arXiv (Cornell University)|Feb 15, 2017

Advanced Image and Video Retrieval Techniques参考文献 35被引用数 13

ひとこと要約

この論文では、Pinterestのビジュアルディスカバリーエンジンを提示しており、深層学習に基づくオブジェクト検出とバイナリゼーションされた畳み込み特徴量を活用して、インタラクティブなビジュアル検索およびレコメンデーションシステム（Flashlight や Lens など）を実現している。このシステムにより、オブジェクトレベルの検索と多様で意味的に関連性のある結果が可能となり、ユーザーの関与度が著しく向上した。オブジェクト検出が使用された際には、関与度が4.9%向上した。

ABSTRACT

Over the past three years Pinterest has experimented with several visual search and recommendation services, including Related Pins (2014), Similar Looks (2015), Flashlight (2016) and Lens (2017). This paper presents an overview of our visual discovery engine powering these services, and shares the rationales behind our technical and product decisions such as the use of object detection and interactive user interfaces. We conclude that this visual discovery engine significantly improves engagement in both search and recommendation tasks.

研究の動機と目的

• インタラクティブでオブジェクトレベルのビジュアル検索を可能にすることで、ユーザーの関与度を向上させる本番環境向けのビジュアルディスカバリーシステムを設計・スケーリングすること。
• 事前学習済み畳み込みネットワークから得られるバイナリゼーションされた深層特徴量を用いて、大規模な画像検索における検索効率と関連性を向上させること。
• オブジェクト検出を、レコメンデーション、検索、モバイルカメラベースのディスカバリーを含む多様なビジュアルディスカバリー体験に統合すること。
• ユーザーが画像内の視覚的に類似するオブジェクトを検索し、正確な視覚的マッチを超えた意味的に関連するコンテンツを発見できることを可能にすること。
• 実世界での導入に向け、特徴表現、クエリ正規化、結果ブレンドといったシステム部品の評価と最適化を行うこと。

提案手法

• 事前学習済みネットワーク（例：ResNet、VGG）からの深層畳み込み特徴量をバイナリゼーションすることで、検索遅延を著しく低減するとともに、関連性を向上させること。
• SSDベースのオブジェクト検出を用いて、数十億枚のPinterest画像にわたるオブジェクトを特定・インデックス化し、オブジェクトレベルの検索を実現すること。
• Flashlightにおけるオブジェクト検出の結果をインタラクティブなクエリポイントとして統合し、ユーザーが検出されたオブジェクトをクリックすることで新たな検索を開始できるようにすること。
• Pinterest Lensのための二段階アーキテクチャの設計：まずクエリ理解により視覚的および意味的特徴を抽出し、その後複数のソース（視覚的、意味的、文脈的）からの結果をブレンドすること。
• 画像全体からのオブジェクト埋め込みをインデックス化することで、全体画像の一致ではなく、指定されたオブジェクトを含むシーンの検索を可能にすること。
• クエリの信頼度および特徴に基づいて、Flashlight（視覚的に類似）の結果、画像検索（意味的に類似）の結果、オブジェクト検索（文脈的に関連）の結果を動的にブレンドすること。

Figure 1: Pinterest Flashlight: User can select any objects in the image (e.g. lamp, desk, shelf) as a visual search query.

実験結果

リサーチクエスチョン

• RQ1 バイナリゼーションされた深層特徴量は、大規模なビジュアル検索システムにおける検索効率と関連性をどのように向上させることができるか？
• RQ2 オブジェクト検出は、インタラクティブなビジュアルディスカバリー・システムにおけるユーザー関与度にどのような影響を与えるか？
• RQ3 視覚的特徴量とオブジェクト検出は、統合されたレコメンデーションおよび検索パイプラインに効果的に統合できるか？
• RQ4 クエリ理解は、モバイルビジュアルディスカバリーにおける結果の多様性と関連性を向上させるために果たす役割は何か？
• RQ5 複数の結果ソースを動的にブレンドすることで、リアルタイムのビジュアルディスカバリー・システムにおけるユーザー体験を最適化できるか？

主な発見

• 深層特徴量のバイナリゼーションにより、検索遅延が低減するとともに結果の関連性が向上し、数十億枚の画像にわたるスケーラブルな展開が可能になった。
• Flashlightにおけるオブジェクト検出の統合により、ユーザー関与度が4.9%向上した。カテゴリの整合性が関連性向上の主な要因であった。
• SSDベースの検出により実現されたオブジェクトレベルのインデックス化により、特定のオブジェクトを含むシーンの検索が可能になり、全体画像マッチングを超えたビジュアル検索の範囲が拡大された。
• Pinterest Lensは、動的な結果ブレンドにより視覚的に類似、意味的に類似、文脈的に関連する結果を統合し、ディスカバリの質を向上させた。
• このシステムは、インタラクティブでオブジェクトを選択可能なクエリが、ビジュアルプラットフォームにおけるユーザーのナビゲーションとコンテンツディスカバリーを顕著に向上させることを示した。
• 豊富なメタデータとコラボラティブフィルタリングの活用により、オブジェクト検出の信頼度が向上し、Flashlightにおける信頼性の高いドットベースのナビゲーションが可能になった。

Figure 2: If objects are automatically detected, Flashlight displays a clickable “dot” for faster navigation.