[論文レビュー] What Looks Good with my Sofa: Multimodal Search Engine for Interior Design

Ivona Tautkutė, Aleksandra Możejko+4 more|arXiv (Cornell University)|Jul 21, 2017

Advanced Image and Video Retrieval Techniques参考文献 29被引用数 4

ひとこと要約

本稿では、視覚的およびテキスト的クエリを統合して、ユーザーのソファや部屋と高いスタイルおよび美的類似性を持つ家具・装飾品を検索するマルチモーダルインテリアデザイン検索エンジンを提案する。YOLO-9000とディープ特徴を用いた視覚検索と、word2vecに類似した埋め込みを用いたテキストベースの検索を組み合わせることで、ベースライン手法に比べて平均的なスタイル類似度が11%向上する。

ABSTRACT

In this paper, we propose a multi-modal search engine for interior design that combines visual and textual queries. The goal of our engine is to retrieve interior objects, e.g. furniture or wall clocks, that share visual and aesthetic similarities with the query. Our search engine allows the user to take a photo of a room and retrieve with a high recall a list of items identical or visually similar to those present in the photo. Additionally, it allows to return other items that aesthetically and stylistically fit well together. To achieve this goal, our system blends the results obtained using textual and visual modalities. Thanks to this blending strategy, we increase the average style similarity score of the retrieved items by 11%. Our work is implemented as a Web-based application and it is planned to be opened to the public.

研究の動機と目的

• インテリアデザイン分野における純粋な視覚的またはテキスト的検索の限界、すなわちスタイル的および文脈的な適合性を十分に捉えないことに対処すること。
• 視覚的に類似したアイテムに加え、美学的およびスタイル的に調和するアイテムを検索するシステムの開発。
• 視覚的およびテキスト的モダリティを特徴空間で新しいブレンド戦略を用いて統合することで、検索品質の向上。
• 実世界での利用を想定し、動作するウェブベースのプロトタイプとしてのスタイル検索エンジンの実装および公開。

提案手法

• ユーザーがアップロードした部屋の画像に対してYOLO-9000を用いてオブジェクト検出を行い、ソファなどの主要なアイテムを局所化する。
• 視覚検索は、事前学習済みの畳み込みニューラルネットワーク（CNN）からの正規化された活性化などの深層特徴を特徴空間で用いて実行する。
• テキストクエリは、word2vecに類似した埋め込みを用いて処理され、意味的およびスタイル的共起パターンを捉えることで、スタイル的に適合するアイテムを特定する。
• 特徴類似度ブレンド法は、視覚的およびテキスト的特徴空間における距離を計算し、両者を統合したランク付きリストに再順序付けを行う。
• ブレンド戦略は、両モダリティからの重み付き類似度スコアを用いて、全体的なスタイル的関連性を向上させる。
• システムはFlaskベースのウェブアプリケーションとして実装されており、ユーザーが画像をアップロードするか、データセットから選択できる。

実験結果

リサーチクエスチョン

• RQ1 視覚的およびテキスト的モダリティを統合することで、単一モダリティの手法に比べ、美学的およびスタイル的に適合するインテリアデザインアイテムの検索が向上するか？
• RQ2 特徴空間でのブレンド戦略は、検索結果のスタイル類似度を向上させるのにどの程度効果的か？
• RQ3 「白い」や「スカンジナビアン」などのテキスト的文脈を追加することで、視覚検索のみに比べて検索品質はどの程度向上するか？
• RQ4 実際の部屋データセットに基づく確率的共起度度量は、アイテム間のスタイル的適合性を効果的に定量化できるか？
• RQ5 マルチモーダルシステムの性能は、シンプルな視覚検索およびテキストのみの検索に比べ、スタイル類似度の観点でどの程度優れているか？

主な発見

• 提案された特徴類似度ブレンド法により、シンプルな視覚検索に比べて、検索結果の平均スタイル類似度スコアが11%向上した。
• シンプルな視覚検索のみでは平均スタイル類似度スコアが0.2295にとどまり、ブレンド手法がこのベースラインを上回った。
• テキスト検索のみではわずかに低いスコア0.2243を記録し、このタスクではテキストのみの検索が視覚検索に比べて劣っていることが示された。
• 「ソファ」などの検出されたオブジェクトクラスをテキストクエリとして使用するだけで、視覚のみの検索に比べて結果が向上した。これは、テキスト的文脈の価値を示している。
• 「白い」や「装飾的」などの追加の記述子を加えることでさらに性能が向上し、より豊かなテキスト入力の利点が裏付けられた。
• ウェブアプリケーションプロトタイプは、システムの機能を効果的に示しており、ユーザーテスト後、公開を予定している。