[論文レビュー] On Numerosity of Deep Convolutional Neural Networks

Xiaolin Wu, Xi Zhang+1 more|arXiv (Cornell University)|Feb 9, 2018

Cognitive and developmental aspects of mathematical skills被引用数 2

ひとこと要約

この論文は、データ駆動型学習に依存するがゆえに、自然数の抽象的概念を即座に認識する能力（すなわち、すばやく数える能力）を深層畳み込みニューラルネットワーク（CNN）が果たせるかを調査する。数学的モーフォロジーを再帰的CNNに統合することで、著者たちは、認知的プリオン（先験的知識）を組み込むことで、抽象的数理解の限界を補うことができるモデルを設計した。その結果、成功裏にすばやく数える能力を実現した。

ABSTRACT

Subitizing, or the sense of small natural numbers, is an innate cognitive function of humans and primates; it responds to visual stimuli prior to the development of any symbolic skills, language or arithmetic. Given successes of deep learning (DL) in tasks of visual intelligence and given the primitivity of number sense, a tantalizing question is whether DL can comprehend numbers and perform subitizing. But somewhat disappointingly, extensive experiments of the type of cognitive psychology demonstrate that the examples-driven black box DL cannot see through superficial variations in visual representations and distill the abstract notion of natural number, a task that children perform with high accuracy and confidence. The failure is apparently due to the learning method not the CNN computational machinery itself. A recurrent neural network capable of subitizing does exist, which we construct by encoding a mechanism of mathematical morphology into the CNN convolutional kernels. Also, we investigate, using subitizing as a test bed, the ways to aid the black box DL by cognitive priors derived from human insight. Our findings are mixed and interesting, pointing to both cognitive deficit of pure DL, and some measured successes of boosting DL by predetermined cognitive implements. This case study of DL in cognitive computing is meaningful for visual numerosity represents a minimum level of human intelligence.

研究の動機と目的

• 視覚的刺激を通じて、深層学習モデルが自然数の抽象的概念を学習できるかどうかを調査すること。これは、人間のすばやく数える能力に類似している。
• 標準的なデータ駆動型CNNが、小さな数のパターンにおける視覚的変化に対して一般化に失敗する理由を特定すること。
• 人間の数の感覚から得られる認知的プリオンを組み込むことで、深層学習モデルのすばやく数えるタスクにおける性能が向上するかどうかを調査すること。
• 数学的モーフォロジーを活用した再帰的ニューラルネットワークアーキテクチャを構築し、強固なすばやく数える能力を実現すること。
• 認知的プリオンが、ブラックボックス型の深層学習システムにおける抽象的視覚的推論を向上させる有効性を評価すること。

提案手法

• 数学的モーフォロジーの原則を明示的に畳み込みカーネルに埋め込んだ再帰的CNNアーキテクチャを設計し、数の認識を支援すること。
• 認知心理学実験を模倣するため、1～4個の物体を含む視覚的刺激を用いてモデルを訓練およびテストすること。
• 人間の数の感覚に由来する認知的プリオンをネットワークのインダクティブバイアスに統合し、抽象的数の表現への学習を導くこと。
• 視覚的外観の変化にさらされたすばやく数えるタスクにおいて、モーフォロジーを強化したモデルと標準CNNの性能を比較すること。
• 静的畳み込み層に比べて、視覚的特徴の逐次処理を可能にする再帰的構造を採用することで、パターンの抽象化を向上させること。
• 物体の形状、サイズ、配置の変化といった視覚的変化に対する一般化を評価し、記憶に依存するのではなく概念的理解が得られているかを検証すること。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型の性質を有する標準的な深層畳み込みニューラルネットワークは、小さな数の物体をすばやく数えることができるか？
• RQ2 多様な例で訓練されたとしても、なぜ標準的な深層学習モデルは、小さな数のパターンにおける視覚的変化に対して一般化に失敗するのか？
• RQ3 人間の数の感覚から得られる認知的プリオンは、深層学習モデルの抽象的多数性認識能力を向上させることができるか？
• RQ4 畳み込みカーネルに数学的モーフォロジーを埋め込むことで、ニューラルネットワークが強固なすばやく数える能力を達成できるか？
• RQ5 再帰的アーキテクチャは、深層学習モデルにおける抽象的数理解をどの程度向上させることができるか？

主な発見

• 標準的な深層学習モデルは、学習データ上で高い正確性を示しても、自然数の背後にある概念の抽象化を妨げるため、すばやく数えることができない。
• その失敗は、CNNアーキテクチャ自体の制限ではなく、深層学習のデータ駆動的かつブラックボックス型の性質に起因する。
• 畳み込みカーネルに数学的モーフォロジーを統合した再帰的ニューラルネットワークは、多様な視覚的変化に対して成功裏にすばやく数える能力を発揮した。
• 認知的プリオン（具体的には、数学的モーフォロジーからの構造的原則）を組み込むことで、深層学習における一般化と概念的理解が顕著に向上した。
• この研究は、人間の認知的知見を埋め込むことで、深層学習が抽象的推論に向かって導かれる可能性があることを示しており、より解釈可能で頑健なAIへの道筋を示唆している。
• すばやく数える能力は、視覚的認識における最小限の人間らしい知能のベンチマークとして意味を持つ。これにより、現在の深層学習の限界と可能性が浮き彫りになった。