[論文レビュー] The Cross-Depiction Problem: Computer Vision Algorithms for Recognising Objects in Artwork and in Photographs

Hongping Cai, Qi Wu+2 more|arXiv (Cornell University)|May 1, 2015

Advanced Image and Video Retrieval Techniques参考文献 42被引用数 31

ひとこと要約

本稿は、絵画、スケッチ、写真など多様な芸術的スタイルにわたるオブジェクト認識を含むコンピュータビジョン分野におけるクロスデピクション問題を調査している。現在の手法、特にディープラーニングを含むものも、非写真的表現でテストされた場合に顕著な性能低下を示すことが明らかになった。主な発見は、空間的部品関係や構造的レイアウトに注目するモデルが、外観に基づく手法よりも優れた性能を示すことであり、クロスデピクション認識において構造的抽象化が外観よりもより頑健である可能性を示唆している。

ABSTRACT

The cross-depiction problem is that of recognising visual objects regardless of whether they are photographed, painted, drawn, etc. It is a potentially significant yet under-researched problem. Emulating the remarkable human ability to recognise objects in an astonishingly wide variety of depictive forms is likely to advance both the foundations and the applications of Computer Vision. In this paper we benchmark classification, domain adaptation, and deep learning methods; demonstrating that none perform consistently well in the cross-depiction problem. Given the current interest in deep learning, the fact such methods exhibit the same behaviour as all but one other method: they show a significant fall in performance over inhomogeneous databases compared to their peak performance, which is always over data comprising photographs only. Rather, we find the methods that have strong models of spatial relations between parts tend to be more robust and therefore conclude that such information is important in modelling object classes regardless of appearance details.

研究の動機と目的

• 写真、スケッチ、絵画などの多様な芸術的表現にわたるオブジェクト認識が可能な、未だ十分に研究が進んでいないクロスデピクション問題を特定し、それに対処すること。
• 新しい多様性に富んだデータセットを用いて、既存の分類、ドメイン適応、ディープラーニング手法の性能をベンチマーク化し、表現スタイルの違いに対してどれほど頑健であるかを評価すること。
• 写真データでは優れた性能を示す最先端の認識モデルが、写真でない芸術的表現では顕著に性能が低下する理由を調査すること。
• オブジェクト部品間の空間的・構造的関係が、低レベルの外観特徴よりも頑健な認識基盤として機能するかどうかを検討すること。
• クロスデピクションの頑健性を実現するための基礎として、空間的レイアウトと構造的抽象化をモデリングすることを柱とする新しい研究方向性を提案すること。

提案手法

• 写真と芸術的表現の両方を含む50および100のオブジェクトクラスをバランスよく含む、新たな2つのデータセット（Photo-Art-50 および Photo-Art-100）を構築した。
• HOG-BoW、DPM、M-Graph、およびディープラーニングモデル（例：ResNet、VGG）を含む多様な手法を、両方のデータセットで評価し、ドメイン間での性能を比較した。
• 可変部分モデル（DPM）やM-Graphなど、オブジェクト部品間の幾何的関係を明示的にエンコードする、空間的制約を組み込んだ部品ベースのモデルを用いた。
• 形状の抽象化とグラフベース表現を用いて構造とレイアウトをモデリングし、特定の外観に依存しない認識を可能にした。
• 写真データで学習したモデルを芸術的表現でテストすることで、表現スタイルの違いに起因する性能低下を測定し、一般化性能を評価した。
• 非写真的レンダリング技術を用いて、実写の写真からスタイライズドな画像を生成し、構造的抽象化が認識可能性を保持することを検証した。

実験結果

リサーチクエスチョン

• RQ1 現在のコンピュータビジョンモデル、特にディープラーニングモデルは、同じオブジェクトの写真から芸術的表現への一般化がどの程度可能か？
• RQ2 外観、形状、空間的構造といった視覚的属性のうち、頑健なクロスデピクションオブジェクト認識に最も重要となるのはどれか？
• RQ3 オブジェクト部品間の空間的関係を明示的にエンコードするモデルは、外観ベースのモデルに比べ、クロスデピクションの状況で優れた性能を示せるか？
• RQ4 写真データでは優れた性能を示すにもかかわらず、なぜディープラーニングモデルは芸術的表現では顕著に性能が低下するのか？
• RQ5 表現スタイルにわたるオブジェクト認識において、外観のモデリングと構造的抽象化の間には根本的なトレードオフがあるのだろうか？

主な発見

• HOG-BoWのような外観ベースのモデルで顕著な性能低下が観察されたが、すべてのテスト手法、ディープラーニングモデルを含めて、写真データから芸術的表現に移行した場合に顕著な性能低下を示した。
• DPM や M-Graph のような空間モデリングに優れたモデルは、クロスデピクションに対してより頑健であることが示され、空間的レイアウトが低レベルの外観特徴よりも信頼性が高いことが示唆された。
• 部品間の複雑な空間的関係をエンコードする M-Graph モデルは、DPM や他の手法よりも芸術的表現において優れた性能を示した。これは、構造的抽象化が一般化性能を向上させることを示唆している。
• 性能低下の唯一の例外は、[59] の手法であり、ノードごとに複数のラベルを用いて外観と構造の両方をモデル化していた。これは、明示的な構造モデリングが頑健性の鍵であることを示している。
• ディープラーニング手法は、Photo-Art-50 で写真データで学習・テストした場合には高い正確性を達成したが、芸術的表現でテストした場合には顕著に性能が低下した。これは、これらのモデルが本質的にクロスデピクションに対して頑健ではないことを示している。
• 結果から、人間がオブジェクトを認識するのは特定の外観を照合するのではなく、構造的・空間的配置を認識するためであることが示唆され、現在のモデルはその点を効果的に再現できていない。