[論文レビュー] Modeling Visual Compatibility through Hierarchical Mid-level Elements

José Oramas, Tinne Tuytelaars|arXiv (Cornell University)|Mar 31, 2016

Domain Adaptation and Few-Shot Learning参考文献 29被引用数 16

ひとこと要約

本論文では、CNN活性化マッピングを用いて中間レベルの視覚的要素を発見することで、物体間の視覚的適合性を階層的にモデル化する手法を提案する。まず、局所化されたCNN特徴からクラス固有のベースレベル要因を特定し、次にそれらの要因の共起パターンを用いてトップレベルの適合性ルールを学習する。これにより、解釈可能でモジュラーかつスケーラブルな適合性推定が可能となり、スタイルや文脈的特徴に関する強力な定性的な洞察が得られる。

ABSTRACT

In this paper we present a hierarchical method to discover mid-level elements with the objective of modeling visual compatibility between objects. At the base-level, our method identifies patterns of CNN activations with the aim of modeling different variations/styles in which objects of the classes of interest may occur. At the top-level, the proposed method discovers patterns of co-occurring activations of base-level elements that define visual compatibility between pairs of object classes. Experiments on the massive Amazon dataset show the strength of our method at describing object classes and the characteristics that drive the compatibility between them.

研究の動機と目的

• テキストメタデータに依存せずに視覚的適合性をモデル化することにより、画像検索における「コールドスタート」問題に対処すること。
• 物体の外観におけるスタイルの変動を捉える意味のあるクラス固有の視覚的表現を発見すること。
• 画像ペア間のベースレベル視覚的要因の共起パターンからトップレベルの適合性ルールを学習すること。
• どの視覚的特徴が物体クラス間の適合性を決定づけているかを解釈可能な形で明らかにすること。
• 新しい物体クラスに効率的にスケーリング可能なモジュラーかつ並列処理可能なパイプラインを設計すること。

提案手法

• ベースレベルでは、固定サイズの画像領域をサンプリングし、CNN活性化の頻出パターンを抽出することでクラス固有の中間レベル要因を構築する。
• ベースレベル要因は、トレーニング画像からのCNN活性化パターンを用いた関連ルールマイニングにより、各物体クラスごとに学習される。
• トップレベルでは、画像ペア間のベースレベル要因の共起パターンをマイニングし、物体クラス間の適合性ルールを発見する。
• 適合性スコアは、トップレベル要因の共起パターンに基づいて訓練されたLDA分類器を用い、最終的なスコアは最大分類器応答から導出される。
• クラス駆動のモジュラーアーキテクチャを採用しており、各クラスの処理が独立しており、新しいクラスへのスケーリングが容易である。
• パイプラインは並列処理が可能に設計されており、各クラスが別々に処理され、計算負荷が低減され、インクリメンタルな更新が可能である。

実験結果

リサーチクエスチョン

• RQ1 CNN活性化から導出される中間レベルの視覚的要因は、物体外観のスタイル変動を効果的にモデル化できるか？
• RQ2 ベースレベル要因の共起パターンは、異なる物体クラス間の視覚的適合性を信頼性高く予測できるか？
• RQ3 この手法は、文脈的情報（例：顔、アクセサリー）をどの程度活用して適合性モデリングを改善できるか？
• RQ4 エンドツーエンドモデルと比較して、階層的構造は適合性意思決定の解釈可能性をどの程度向上させるか？
• RQ5 この手法は、システム全体の再トレーニングなしに、新しい物体クラスに効率的にスケーリングできるか？

主な発見

• 本手法は、衣類やアクセサリークラスにおける色、テクスチャ、形状パターンなどの多様なスタイル変動を捉えるベースレベル要因を効果的に発見した。
• トップレベルの適合性ルールは意味のある視覚的関係を明らかにし、例えば女性の顔と特定のトップスやスカートの強い共起性が観察され、文脈的適合性を示している。
• 本手法は強力な定性的解釈可能性を示しており、顔検出や特定のテクスチャといった具体的な視覚的特徴が適合性意思決定に寄与していることが特定可能である。
• Amazonデータセットを用いた実験では、事前に定義された属性やメタデータがなくても、本手法が適合性を効果的にモデル化できることを示した。
• モジュラー設計により効率的な処理が可能であり、新しいクラスを追加するには、新しい1つのベースレベルプロセスと既存の適合性プロセスのみが必要で、全システムの再トレーニングは不要である。
• 標準指標における定量的性能がやや劣っているものの、本手法は記述的能力に優れており、適合性予測の背後にある明確で人間が理解可能な説明を提供している。