[論文レビュー] Neural Networks Trained on Natural Scenes Exhibit Gestalt Closure

Been Kim, Emily Reif+3 more|arXiv (Cornell University)|Mar 4, 2019

Visual perception and processing mechanisms参考文献 48被引用数 4

ひとこと要約

この論文は、自然画像で訓練された深層ニューラルネットワークが、明示的な教師なし学習なしに、未完成な形状を全体として認識する「ゲシュタルト的閉じる」性質を自発的に示すかどうかを調査している。内部表現における類似度測定を用いて、著者らは最先端のCNNが、整列したエッジ断片を完全な三角形と同等の知覚的類似性を持つと処理することを示し、表現の類似性を通じて閉じるような行動を示しており、ゲシュタルト原理が自然環境における統計的学習から生じる可能性を支持している。

ABSTRACT

The Gestalt laws of perceptual organization, which describe how visual elements in an image are grouped and interpreted, have traditionally been thought of as innate despite their ecological validity. We use deep-learning methods to investigate whether natural scene statistics might be sufficient to derive the Gestalt laws. We examine the law of closure, which asserts that human visual perception tends to "close the gap" by assembling elements that can jointly be interpreted as a complete figure or object. We demonstrate that a state-of-the-art convolutional neural network, trained to classify natural images, exhibits closure on synthetic displays of edge fragments, as assessed by similarity of internal representations. This finding provides support for the hypothesis that the human perceptual system is even more elegant than the Gestaltists imagined: a single law---adaptation to the statistical structure of the environment---might suffice as fundamental.

研究の動機と目的

• 自然画像で訓練された深層ニューラルネットワークが、明示的教師なし学習や内生的メカニズムなしに、未完成な形状を全体として認識する「ゲシュタルト的閉じる」性質を示すかどうかを検証すること。
• 自然シーンの統計的構造が、人工ニューラルネットワークにおける閉じるような知覚を誘発するのに十分かどうかを調査すること。
• 知覚的補完に専用の内生的メカニズムを仮定する従来の認知モデルに対する計算的代替案を提示すること。
• 行動反応モデルに依存せずに、深層ネットワークの活性化における表現の類似度を用いて閉じる性質を定量化すること。

提案手法

• ImageNetを用いて自然画像の分類を目的とした最先端の畳み込みニューラルネットワーク（CNN）を訓練する。
• 合成刺激を作成する：完全な三角形、閉じる効果を誘発する整列したエッジ断片、閉じる効果を妨げる不規則な断片。これらは方向、サイズ、全体的な位置を変化させた。
• 類似度測定は、対応する画像トリプレット（完全、整列、不規則な断片）の特徴埋め込み間のコサイン類似度を用いる。
• 閉じる度合いの測定値 𝒞 は、完全-整列ペアと完全-不規則ペアの類似度の差として定義される：𝒞 = s(f(𝑎𝑖), f(𝑐𝑖)) − s(f(𝑑𝑖), f(𝑐𝑖))。
• 768個の刺激トリプレットに対して平均閉じる度合い 𝒞̄ を計算し、完全な形状と断片ペアの間で画素レベルの重なりが等しくなるように制約を課す。
• コサイン類似度関数を用いる：s(x,y) = (x⋅y^T)/(|x||y|)。ゼロベクトルの取り扱いには特別な処理を施す。

実験結果

リサーチクエスチョン

• RQ1 自然画像で訓練された深層ニューラルネットワークが、明示的教師なし学習や内生的メカニズムなしに、ゲシュタルト的閉じる性質を示すことができるか？
• RQ2 自然シーンの統計的構造が、人工ニューラルネットワークにおける閉じるような知覚を生じさせるのに十分か？
• RQ3 深層ネットワークの表現的類似性は、閉じるタスクで観察される人間の知覚的グループ化を反映しているか？
• RQ4 行動反応モデルに依存せずに、内部表現を用いて閉じる性質を定量化できるか？

主な発見

• 平均閉じる度合い 𝒞̄ は有意に正であり、ネットワークの内部表現が整列した断片を不規則な断片よりも完全な三角形とより類似すると処理していることを示している。
• 完全な三角形と整列した断片のネットワーク表現は、埋め込み空間においてほぼ同一であり、知覚的同等性を示唆している。
• 閉じる度合いは+1に近い値に達しており、完全な形状と整列した刺激との間で強い表現的類似性があることを示しており、ゲシュタルト的閉じる性質と整合的である。
• ネットワークは有意な負の閉じる度合いを示さず、知覚的グループ化の逆転も見られず、サイズ、方向、全体的な位置の変化に対しても安定した結果を示した。
• これらの結果は、ゲシュタルト原理の一つとしての閉じる性質が内生的ではなく、自然環境における統計的学習から生じる可能性があることを示唆している。
• 研究結果は、複数のゲシュタルト法則（閉じるを含む）を統一的に説明する一元的な原理—環境の統計に適応すること—が存在するという仮説を支持している。