[論文レビュー] MosAIc: Finding Artistic Connections across Culture with Conditional Image Retrieval

Mark Hamilton, Stephanie Fu+10 more|arXiv (Cornell University)|Jul 14, 2020

Generative Adversarial Networks and Image Synthesis参考文献 83被引用数 4

ひとこと要約

MosAIcは、視覚的類似性検索とユーザー定義の条件（例：文化、メディア）を組み合わせた条件付き画像検索（CIR）を導入し、文化的・時間的要因が異なるアート作品の意味的・視覚的な関連性を発見する。この手法は、枝狩りを施したランダムプロジェクションツリーを用いて、条件付きフィルタリングされた近傍を効率的に取得し、非パrametricなスタイル転送を可能にするとともに、生成対話ネットワーク（GAN）のデータ分布モデリングにおける「目隠し領域」を明らかにする。

ABSTRACT

We introduce MosAIc, an interactive web app that allows users to find pairs of semantically related artworks that span different cultures, media, and millennia. To create this application, we introduce Conditional Image Retrieval (CIR) which combines visual similarity search with user supplied filters or "conditions". This technique allows one to find pairs of similar images that span distinct subsets of the image corpus. We provide a generic way to adapt existing image retrieval data-structures to this new domain and provide theoretical bounds on our approach's efficiency. To quantify the performance of CIR systems, we introduce new datasets for evaluating CIR methods and show that CIR performs non-parametric style transfer. Finally, we demonstrate that our CIR data-structures can identify "blind spots" in Generative Adversarial Networks (GAN) where they fail to properly model the true data distribution.

研究の動機と目的

• 多様な文化、メディア、時間的背景にわたる意味的・視覚的に関連するアート作品のインタラクティブな発見を可能にすること。
• 特定のサブセット（例：文化やメディア）に制限して画像検索を効率的に行う課題に取り組み、インデックス構造の再構築なしに実現すること。
• 既存のKNNデータ構造を、任意の論理述語を用いて条件付きクエリをサポートする一般化された方法として適応すること。
• CIRのパフォーマンスを新規データセットで評価し、GANにおける分布的失敗（例：「目隠し領域」）の同定に有効であることを示すこと。
• グローバルアートコレクションにまたがる芸術的関連性を可視化するインタラクティブなWebアプリケーション（MosAIc）の開発

提案手法

• ユーザーが指定する条件（例：文化やメディア）によって制限される条件付き画像検索（CIR）を導入する。
• ランダムプロジェクションツリーなどのツリー型KNN構造を、逆インデックスを用いて、ターゲット条件サブセットに属さないノードを枝刈りすることで適応する。
• 条件付きクエリ下でのランダムプロジェクションツリーにおける枝刈り可能なノード数の理論的下限を証明する。
• コサイン距離を用いた画像類似度計算のため、事前学習済みモデル（例：ResNet50、MobileNetV2）からの特徴量を埋め込み表現として用いる。
• 条件（例：「18世紀の中国」）を関連する画像インデックスにマッピングする逆インデックスを用い、検索時の高速なフィルタリングを実現する。
• 得られた条件付きK-近傍（CKNN）データ構造を用いて、特徴空間における近傍分布の分析により、ProGANがCelebA HQに学習させた際の「目隠し領域」を特定する。

実験結果

リサーチクエスチョン

• RQ1 条件付き画像検索は、文化的・時間的要因が著しく異なるアート作品間の有意義な芸術的関連性を明らかにできるか？
• RQ2 インデックス構造の再構築なしに、既存のKNNデータ構造を効率的に条件付きクエリに対応可能にできるか？
• RQ3 CIRは、ターゲット条件サブセット内のコンテンツ類似画像を検索することで、モデルの微調整なしに非パrametricなスタイル転送をどの程度実現できるか？
• RQ4 CKNNデータ構造は、GAN生成データにおける分布的不一致（例：モデルが現実的なサンプルを生成できない「目隠し領域」）を特定できるか？
• RQ5 クエリ後にフィルタリングを行う手法やブルートフォース検索と比較して、提案手法CIRは効率性と正確性において優れているか？

主な発見

• CIRは、紀元前1980年のエジプトの舟の模型と18世紀の中国の浮き船絵画といった、文化的・時間的背景が著しく異なるアート作品間でも、意味的・視覚的に類似した作品を効果的に検索できた。
• 枝刈りを施したランダムプロジェクションツリー手法は、クエリ後にフィルタリングを行う手法やブルートフォースベースラインと比較して顕著な高速化を達成し、100万枚の画像データセットにおける条件付きインデックスの実測空間効率は6.4 MBであった。
• CIRは、ターゲット条件サブセット内のコンテンツ類似画像を検索することで、モデルの微調整なしに非パrametricなスタイル転送を実現した。
• CKNNデータ構造は、CelebA HQに学習させたProGANにおける「目隠し領域」を効果的に特定し、特に帽子の縁がある顔の周辺でモデルが現実的な顔を生成できない領域を明らかにした。
• 特に条件が限定的である場合やターゲットサブセットが小さい場合に、ベースライン戦略に比べて条件付き検索の速度とスケーラビリティにおいて優れた性能を示した。
• CIRの評価に用いられた新規データセット（FEI Face Databaseと2つの大規模アートコレクション）により、条件付き検索性能の堅牢なベンチマークが可能となった。