[論文レビュー] Two Is Harder To Recognize Than Tom: the Challenge of Visual Numerosity for Deep Learning

Xiaolin Wu, Xi Zhang+1 more|arXiv (Cornell University)|Feb 9, 2018

Cognitive and developmental aspects of mathematical skills参考文献 35被引用数 1

ひとこと要約

この論文は、強い監視のもとでも、深層畳み込みニューラルネットワーク（DCNNs）が視覚的数え上げ能力——集合に含まれるアイテムの数を知覚する能力——を学習できるかどうかを調査している。小さな数の多様な視覚的表現ですら、DCNNsは表面的な視覚的変化を超えて一般化できない。これは、意味的理解よりも統計的パターンに依存していることを示し、現在のディープラーニングにおけるコアな認知的タスクにおける根本的な制限を露呈している。

ABSTRACT

In the spirit of Turing test, we design and conduct a set of visual numerosity experiments with deep neural networks. We train DCNNs with a large number of sample images that are varied visual representations of small natural numbers, towards the objective of learning numerosity perception. Numerosity perception, or the number sense, is a cognitive construct so primary and so critical to the survival and well-being of our species that is considered and proven to be innate to human infants, and it responds to visual stimuli prior to the development of any symbolic skills, language or arithmetic. Somewhat surprisingly, in our experiments, even with strong supervision, DCNNs cannot see through superficial variations in visual representations and distill the abstract notion of natural number, a task that children perform with high accuracy and confidence. DCNNs are apparently easy to be confused by geometric variations and fail to grasp the topological essence in numerosity. The failures of DCNNs in the proposed cognition experiments also expose their overreliance on sample statistics at the expense of image semantics. Our findings are, we believe, significant and thought-provoking in the interests of AI research, because visual-based numerosity is a benchmark of minimum sort for human intelligence.

研究の動機と目的

• ディープラーニングモデルが視覚的入力から人間らしい数の感覚を獲得できるかどうかを評価すること。
• DCNNsが幾何的および視覚的変化を越えて抽象的な数え上げを認識できるかどうかを調査すること。
• 視覚的認識におけるトポロジー的および意味的本質を捉えることにおけるディープラーニングの限界を明らかにすること。
• 視覚的数え上げが人工知能における人間水準の知能を測る最小限のベンチマークとして機能するかどうかを検証すること。

提案手法

• 小自然数（1〜10）の視覚的に多様な表現を含む大規模なデータセットを設計し、DCNNsの学習に用いた。
• 異なる形状、配置、テクスチャを含む多様な視覚刺激に対して、強い監視のもとで深層畳み込みニューラルネットワークを学習させた。
• 訓練分布を超えた未観測の視覚的変化に対してモデルの性能を評価し、一般化能力をテストした。
• モデルの予測を分析し、低レベルの統計的パターンへの依存と、数え上げの高レベルな意味的理解との関係を評価した。
• 制御された視覚的刺激を用いて、幾何的変化と意味的コンテンツを分離し、モデルの頑健性を測定した。
• モデルの挙動を人間の乳児の先天的数の感覚と比較し、認知的に妥当な妥当性を評価した。

実験結果

リサーチクエスチョン

• RQ1 DCNNsは、記号的基盤なしに、多様な視覚的表現において抽象的な数え上げの概念を認識できるか？
• RQ2 DCNNsは、数え上げ認識において、訓練データの統計的パターンにどれほど依存しているのか？ また、数え上げの意味的・トポロジカル不変性にはどれほど依存しているのか？
• RQ3 視覚的刺激における幾何的および知覚的変化が、DCNNsの数え上げタスクにおける性能にどのように影響するか？
• RQ4 視覚的数え上げは、人工知能における人間水準の認知的能力を評価するための有効な最小限のベンチマークとみなせるか？

主な発見

• 強い監視と大規模な訓練データのもとでも、DCNNsは視覚的変化を超えて一般化できない。
• モデルは、新しい視覚的配置に対して高い誤差率を示し、背後にある数の概念の抽象化が不十分であることを示している。
• 性能の低下は、主に意味的またはトポロジカル理解よりも表面的な視覚的統計に過度に依存しているためである。
• 異なる視覚的構成において同じ数を認識できないという失敗は、ディープラーニングがコアな認知的推論能力に欠けている根本的なギャップを露呈している。
• これらの結果は、視覚的数え上げが人工知能にとって非自明なベンチマークであり、現在のディープラーニングアーキテクチャの限界を明らかにしている。