[論文レビュー] Emergent Properties of Foveated Perceptual Systems

Arturo Deza, Talia Konkle|arXiv (Cornell University)|Jun 14, 2020

Visual Attention and Saliency Detection参考文献 59被引用数 22

ひとこと要約

この論文は、同一の知覚的圧縮条件下で、人間の周辺視を模倣するテクスチャベースの符号化を用いたフオケートド・テクスチャモデルと、フオケートド・ブルームおよび均一にぼかされたモデルを比較することで、機械視覚におけるフオケートド知覚的システムの表現的影響を調査している。フオケートド・テクスチャモデルは、フル解像度の参照モデルと同等のシーン分類精度を達成し、より優れた一般化性能、遮蔽に対するより高い耐性、およびより強い中心寄りバイアスを示しており、テクスチャベースの周辺符号化が、ビジョンシステムにとって特徴的で効率的かつ耐性のある表現形式をもたらすことを示している。

ABSTRACT

The goal of this work is to characterize the representational impact that foveation operations have for machine vision systems, inspired by the foveated human visual system, which has higher acuity at the center of gaze and texture-like encoding in the periphery. To do so, we introduce models consisting of a first-stage extit{fixed} image transform followed by a second-stage extit{learnable} convolutional neural network, and we varied the first stage component. The primary model has a foveated-textural input stage, which we compare to a model with foveated-blurred input and a model with spatially-uniform blurred input (both matched for perceptual compression), and a final reference model with minimal input-based compression. We find that: 1) the foveated-texture model shows similar scene classification accuracy as the reference model despite its compressed input, with greater i.i.d. generalization than the other models; 2) the foveated-texture model has greater sensitivity to high-spatial frequency information and greater robustness to occlusion, w.r.t the comparison models; 3) both the foveated systems, show a stronger center image-bias relative to the spatially-uniform systems even with a weight sharing constraint. Critically, these results are preserved over different classical CNN architectures throughout their learning dynamics. Altogether, this suggests that foveation with peripheral texture-based computations yields an efficient, distinct, and robust representational format of scene information, and provides symbiotic computational insight into the representational consequences that texture-based peripheral encoding may have for processing in the human visual system, while also potentially inspiring the next generation of computer vision models via spatially-adaptive computation. Code + Data available here: https://github.com/ArturoDeza/EmergentProperties

研究の動機と目的

• フオケートドシステムにおけるテクスチャベースの周辺符号化が、機械視覚において表現的利点をもたらすかどうかを調査すること。
• 同一の知覚的圧縮条件下で、フオケートド・テクスチャ、フオケートド・ブルーム、均一にぼかされた入力変換を比較すること。
• フオケーションがディープラーニングモデルにおける一般化、遮蔽に対する耐性、および中心画像バイアスに与える影響を評価すること。
• 機械学習の類似物を用いて、周辺部のテクスチャ符号化の機能的役割について、ヒト視覚における洞察を提供すること。
• 空間的に適応的な計算としてのフオケーションが、より効率的で耐性のあるコンピュータビジョンアーキテクチャの設計にインスピレーションを与える可能性があるかどうかを検討すること。

提案手法

• 本研究は二段階のモデルを採用している：固定の第一段階の画像変換と、学習可能な畳み込みニューラルネットワーク（CNN）の組み合わせである。
• 主なモデルは、視覚的混在効果と潜在空間の摂動を用いて、人間の周辺視を模倣するフオケートド・テクスチャ変換を適用する。
• フオケートド・ブルームモデルは、入力に空間的に変化するガウスぼかしを適用し、同じフオケーションパターンを維持するが、テクスチャの代わりにぼかしを用いる。
• 均一にぼかされたモデルは、空間的に一様なぼかしを適用し、フオケートドモデルと同等の知覚的圧縮を達成する。
• すべてのモデルは、複数のCNNアーキテクチャ（例：AlexNet、ResNet18）および学習ダイナミクスを用いて評価され、一般化性を確認する。
• 評価には、シーン分類精度、遮蔽に対する耐性、中心画像バイアス、および知覚的品質指標（例：SSIM、MSE、相互情報量）が含まれる。

実験結果

リサーチクエスチョン

• RQ1 同一の知覚的圧縮条件下で、フオケートド・テクスチャ入力は、フオケートド・ブルームや均一にぼかされた入力よりも優れた一般化性能を示すか？
• RQ2 フオケートド・テクスチャ入力は、他の圧縮戦略と比較して、画像の遮蔽に対する耐性をどのように向上させるか？
• RQ3 フオケーションはどの程度中心画像バイアスを誘発するか？また、空間的に一様なシステムと比較してどうなるか？
• RQ4 フオケートドシステムにおけるテクスチャベースの周辺符号化は、シーン理解のための特徴的でより効率的な表現形式を生み出すか？
• RQ5 フオケーションの計算的インパクトは、機械視覚およびヒト視覚処理の理解の両者にどのような意味を持つのか？

主な発見

• フオケートド・テクスチャモデルは、最小限の入力圧縮で、参照モデルと同等のシーン分類精度を達成しており、高い表現的効率性を示している。
• フオケートド・テクスチャモデルは、フオケートド・ブルームおよび均一にぼかされたモデルと比較して、有意に優れたi.i.d.一般化性能を示している。
• フオケートド・テクスチャモデルは、周辺部における遮蔽に対して、比較モデルと比較してより高い耐性を示している。
• 両方のフオケートドシステムは、重み共有の制約下にあっても、空間的に一様なシステムよりも強い中心画像バイアスを示している。
• これらの表現的利点（耐性、一般化、バイアス）は、異なるCNNアーキテクチャおよび学習ダイナミクスの全期間にわたり保持されている。
• 結果から、フオケートドシステムにおけるテクスチャベースの周辺符号化が、シーン認識のための特徴的で効率的かつ耐性のある表現形式を形成することが示唆される。