[論文レビュー] Visual Noise from Natural Scene Statistics Reveals Human Scene Category Representations

Michelle R. Greene, Abraham P. Botros+2 more|arXiv (Cornell University)|Nov 19, 2014

Advanced Vision and Imaging参考文献 37被引用数 8

ひとこと要約

本論文は、自然なシーンの統計的特性に基づく視覚的ノイズと進化的アルゴリズムを用いて、人間の現実世界のシーンカテゴリ（例：'ストリート'）の内部表現を可視化する新規手法REVEALを紹介する。観察者がノイズのついた刺激を自分の心的テンプレートに一致させることで、迅速なシーン検出性能を予測する主観的なシーン表現が再構築される。これは、複雑なシーンの私的な心像を客観的に可視化・検証できる初めての試みである。

ABSTRACT

Our perceptions are guided both by the bottom-up information entering our eyes, as well as our top-down expectations of what we will see. Although bottom-up visual processing has been extensively studied, comparatively little is known about top-down signals. Here, we describe REVEAL (Representations Envisioned Via Evolutionary ALgorithm), a method for visualizing an observer's internal representation of a complex, real-world scene, allowing us to, for the first time, visualize the top-down information in an observer's mind. REVEAL rests on two innovations for solving this high dimensional problem: visual noise that samples from natural image statistics, and a computer algorithm that collaborates with human observers to efficiently obtain a solution. In this work, we visualize observers' internal representations of a visual scene category (street) using an experiment in which the observer views the naturalistic visual noise and collaborates with the algorithm to externalize his internal representation. As no scene information was presented, observers had to use their internal knowledge of the target, matching it with the visual features in the noise. We matched reconstructed images with images of real-world street scenes to enhance visualization. Critically, we show that the visualized mental images can be used to predict rapid scene detection performance, as each observer had faster and more accurate responses to detecting real-world images that were the most similar to his reconstructed street templates. These results show that it is possible to visualize previously unobservable mental representations of real world stimuli. More broadly, REVEAL provides a general method for objectively examining the content of previously private, subjective mental experiences.

研究の動機と目的

• 現実世界のシーンカテゴリの観察者固有の観察不能な主観的内部表現を可視化する手法を開発すること。
• 内部知識に基づくシーンの事前知識が、明確な視覚的入力が欠如している状況でも視覚的知覚にどのように影響を与えるかを調査すること。
• 人間とコンピュータの協働を活用して、データ駆動型の方法で私的な心的テンプレートを客観的に再構築するフレームワークを構築すること。
• 実世界のシーン検出性能に対する予測力の検証を通じて、再構築された表現を検証すること。
• 計算的手法と知覚フィードバックを組み合わせることで、複雑なシーンの心的表現を外部化し、定量的に分析できることを示すこと。

提案手法

• 自然画像の統計的特性からサンプリングするノイズを生成することで、知覚的に現実的なノイズを確保する。
• 進化的アルゴリズムが人間のフィードバックに基づいて反復的にノイズ画像を最適化し、観察者がターゲットシーン（例：'ストリート'）の内部表現に最も類似したノイズパターンを選択できるようにする。
• 観察者は進化するノイズを提示され、そのシーンカテゴリの内部テンプレートに最も一致するバージョンを選択し、継続的なフィードバックを提供する。
• アルゴリズムはこのフィードバックを用いてノイズパターンを改善し、観察者の内部表現を反映する再構築画像に徐々に収束させる。
• 最終的な再構築画像は、解釈性と検証性を高めるために、実世界のシーン画像と照合する。
• 明確なシーンの内容がなくても、観察者がシーン構造と統計的特性に関する内部知識に基づいてノイズパターンを一致させられることを活用する。

実験結果

リサーチクエスチョン

• RQ1 私的な、主観的な複雑な現実世界のシーンカテゴリの観察者内部表現を、客観的に可視化できるか？
• RQ2 事前の知識に基づく上位互換の期待が、明確な視覚的入力が欠如している状況でも、知覚にどの程度影響を与えるか？
• RQ3 再構築された心的表現は、迅速なシーン検出タスクのパフォーマンスを予測できるか？
• RQ4 自然シーンの統計的特性が、人間のシーン表現の構造にどのように影響を与えるか？
• RQ5 明確なシーンの手がかりなしに、人間とコンピュータの協働アルゴリズムが私的な心的テンプレートを効果的に外部化できるか？

主な発見

• REVEAL手法は、視覚的ノイズと人間のフィードバックのみを用いて、観察者固有のシーンカテゴリの内部表現（例：'ストリート'）を成功裏に再構築した。
• 再構築された画像は知覚的に整合性があり、実世界のストリートシーンと類似しており、この手法が意味のある内部表現を捉えていることを示している。
• 観察者は、自分自身の再構築テンプレートに最も類似した実世界のストリート画像を、より速くかつ正確に検出した。
• 実際のシーンと観察者の再構築テンプレートとの類似度が、検出パフォーマンスを高い精度で予測した。
• 結果は、シーンカテゴリに関する上位互換の知識が、明確な視覚的特徴が欠如している状況でも、視覚的知覚に顕著に影響を与えることを確認した。
• 本研究は、これまで非公開であった主観的な心的体験が、自然シーンの統計に基づく計算フレームワークを用いて可視化・検証可能であることを示した。