[論文レビュー] Detecting People in Cubist Art

Shiry Ginosar, Daniel Haas+2 more|arXiv (Cornell University)|Sep 22, 2014

Visual Attention and Saliency Detection参考文献 22被引用数 6

ひとこと要約

本稿は、ピカソの立体主義の絵画における物体検出アルゴリズムの評価を通じて、極端な視覚的抽象化に対する耐性をテストし、人間のアノテーターと比較する。部分ベースの検出器は、画像がより断片的になるにつれて人間と同様に性能が低下することが判明し、人間の視覚が部分ベースの物体表現に依存しているという理論を支持する。

ABSTRACT

Although the human visual system is surprisingly robust to extreme distortion when recognizing objects, most evaluations of computer object detection methods focus only on robustness to natural form deformations such as people's pose changes. To determine whether algorithms truly mirror the flexibility of human vision, they must be compared against human vision at its limits. For example, in Cubist abstract art, painted objects are distorted by object fragmentation and part-reorganization, to the point that human vision often fails to recognize them. In this paper, we evaluate existing object detection methods on these abstract renditions of objects, comparing human annotators to four state-of-the-art object detectors on a corpus of Picasso paintings. Our results demonstrate that while human perception significantly outperforms current methods, human perception and part-based models exhibit a similarly graceful degradation in object detection performance as the objects become increasingly abstract and fragmented, corroborating the theory of part-based object representation in the brain.

研究の動機と目的

• 極端な抽象化、たとえば立体主義の芸術作品における人間の視覚的耐性と、最先端の物体検出手法がどの程度同等の性能を示すかを評価すること。
• 部分の再配置を許容する部分ベースの物体検出モデルが、全体的またはテンプレートベースのモデルと比較して、人間の知覚をよりよく模倣するかどうかをテストすること。
• 抽象芸術、特にピカソの絵画を用いたベンチマークを構築し、画像の抽象化が進むに従って検出性能がどのように低下するかを評価すること。
• 部分が断片化され再構成された状況下で、アルゴリズムの性能低下パターンが人間の知覚のそれと一致するかどうかを調査すること。
• 部分ベースのモデルが、従来のディープラーニングやテンプレートベースの検出器と比較して、人間の視覚処理とより一致している証拠を提供すること。

提案手法

• 人物を描いたピカソの絵画100点のコーパスを収集し、人物検出のためのバウンディングボックスを手動でアノテートした。
• 人間による認識のしやすさの評価に基づき、人間の形を認識するのが難しい度合いに応じて、絵画を5つの抽象度スケールにグループ化した。
• DPM、Poselets、R-CNN、およびDalal & Triggs（D&T）の4つの最先端の物体検出器を、各抽象度スケールで評価した。
• 人間のアノテーターが各絵画の抽象度を評価し、その評価値を用いてデータセットを5段階の性能評価レベルに階層化した。
• 各抽象度レベルにおける検出器の精度と再現率を測定し、人間の性能低下パターンと比較した。
• 検出の信頼度と部分の活性化パターン（例：判別性の高いパッチを通じて）を分析し、モデルが抽象化が進むにつれてどのように反応するかを理解した。

実験結果

リサーチクエスチョン

• RQ1 既存の物体検出モデルは、立体主義の芸術作品における人物の高度に抽象化された表現に対して、人間の知覚と比較してどの程度の性能を示すか？
• RQ2 画像の抽象化が進むにつれて、部分ベースの物体検出モデルの性能低下は、人間と同様の傾向を示すか？
• RQ3 人間による抽象度評価と、検出アルゴリズムの性能低下の間には相関があるか？
• RQ4 テンプレートベースやディープラーニングの検出器のような非部分ベースのモデルは、部分ベースのモデルと比較して、抽象化下で異なる性能低下パターンを示すか？
• RQ5 自然画像で学習された部分ベースのモデルは、統計的に著しく異なる画像特性を持つ抽象芸術にも一般化できるか？

主な発見

• 部分ベースの物体検出器（例：DPM、Poselets）は、抽象度が上昇するにつれて、精度と再現率が滑らかで徐々に低下し、人間のアノテーターの性能低下と類似した傾向を示した。
• テンプレートベースの検出器であるDalal & Triggs（D&T）は、最初の抽象度スケールで急激に失敗し、部分の再配置に対する耐性が低いことが判明した。
• 人間の性能と部分ベースのモデルの両方が、滑らかな性能低下を示したため、物体認識の背後にあるメカニズムが類似している可能性がある。
• 人間による抽象度評価と検出器の性能低下の間の相関は、部分ベースのモデルで最も強く、その代表的構造が人間の知覚と一致していることを示唆している。
• 自然画像で学習されたにもかかわらず、部分ベースのモデル（HOG特徴量を用いて）は、統計的に著しく異なる画像特性を持つ立体主義の芸術作品に対しても一般化でき、極端な形状の歪みに耐性があることが示された。
• 検出活性化の可視化分析から、より抽象度の高い画像では判別性の高いパッチの信頼性が低下していることがわかった。特に、最も抽象度の高いスケール（Bucket 5）では、唯一の真陽性活性化しか得られなかったが、スケール2ではすべての真陽性が検出された。