[論文レビュー] How intelligent are convolutional neural networks?

Zhennan Yan, Xiang Sean Zhou|arXiv (Cornell University)|Sep 18, 2017

Advanced Image and Video Retrieval Techniques参考文献 34被引用数 10

ひとこと要約

この論文は、最小限の例から対称性、数え上げ、均一性といったゲシュタルト的視覚的概念を学習できるかどうかをテストすることで、深層畳み込みニューラルネットワーク（DCNNs）の意味的理解能力を調査している。合成された、複雑性が段階的に増加する敵対的設計の画像セットを用いて、人間はわずかな例で「インサイトの瞬間」を経てほぼ完璧な一般化を達成するのに対し、DCNNsは桁違いに多くのデータを必要とし、分布外または意図的に混乱を招くサンプルでは依然として失敗することを明らかにした。これは、真の概念的理解が欠けていることを示している。

ABSTRACT

Motivated by the Gestalt pattern theory, and the Winograd Challenge for language understanding, we design synthetic experiments to investigate a deep learning algorithm's ability to infer simple (at least for human) visual concepts, such as symmetry, from examples. A visual concept is represented by randomly generated, positive as well as negative, example images. We then test the ability and speed of algorithms (and humans) to learn the concept from these images. The training and testing are performed progressively in multiple rounds, with each subsequent round deliberately designed to be more complex and confusing than the previous round(s), especially if the concept was not grasped by the learner. However, if the concept was understood, all the deliberate tests would become trivially easy. Our experiments show that humans can often infer a semantic concept quickly after looking at only a very small number of examples (this is often referred to as an "aha moment": a moment of sudden realization), and performs perfectly during all testing rounds (except for careless mistakes). On the contrary, deep convolutional neural networks (DCNN) could approximate some concepts statistically, but only after seeing many (x10^4) more examples. And it will still make obvious mistakes, especially during deliberate testing rounds or on samples outside the training distributions. This signals a lack of true "understanding", or a failure to reach the right "formula" for the semantics. We did find that some concepts are easier for DCNN than others. For example, simple "counting" is more learnable than "symmetry", while "uniformity" or "conformance" are much more difficult for DCNN to learn. To conclude, we propose an "Aha Challenge" for visual perception, calling for focused and quantitative research on Gestalt-style machine intelligence using limited training examples.

研究の動機と目的

• 深層畳み込みニューラルネットワーク（DCNNs）が、対称性、数え上げ、均一性といった視覚的概念について、人間並みの意味的理解を達成できるかどうかを評価すること。
• 抽象的な視覚パターンを学習する際の、DCNNsと人間の例の効率性および一般化能力を比較して調査すること。
• 構造的・統計的複雑性に基づいて、DCNNsと人間がそれぞれどの視覚的概念をより容易に学習できるかを特定すること。
• 最小のトレーニングデータで高レベルの視覚的知能を評価できる新しいベンチマーク「Ahaチャレンジ」を提唱すること。

提案手法

• 各視覚的概念（例：対称性、数え上げ、均一性）について、配置、サイズ、ノイズの変動を制御した正例と負例を含む合成データセットを生成した。
• トレーニングとテストを複数ラウンドに分けて実施し、各ラウンドで複雑性が増加し、概念的誤解を露呈させるように設計された敵対的例が導入された。
• 人間の被験者もDCNNsと同一の条件下でテストされ、追加のヒントなしに最小限の例で一般化できる能力が測定された。
• 学習速度は、高いテスト精度に到達するまでに必要なトレーニング例の数を測定することで定量化された。一般化能力は、分布外テストセットを用いて評価された。
• DCNNsは標準的なバックプロパゲーションを用いてエンドツーエンドでトレーニングされ、インハウスおよび敵対的摂動を加えたテストデータの両方で性能が評価された。
• 「チャレンジ」フレームワークを確立し、アルゴリズムの提出、人間の研究結果、新しいテスト設計の提供を促し、視覚的知能のベンチマーク化を図った。

実験結果

リサーチクエスチョン

• RQ1 DCNNsは、数例しか与えられない状況でも、人間と同程度の速さと正確さで、対称性や均一性といった抽象的視覚的概念を学習できるか？
• RQ2 「インサイトの瞬間」を経て人間には容易に分類可能な、意図的に設計された敵対的テストサンプルにおいて、DCNNsの性能はどのように低下するか？
• RQ3 数え上げ、対称性、均一性といった視覚的概念のうち、DCNNsがデータ駆動型学習に適しているのはどれであり、その理由は何か？
• RQ4 トレーニングデータ量を増やすことで、DCNNsと人間の間の「知能格差」、特に意味的視覚理解の面でどれほど是正されるのか？
• RQ5 「Ahaチャレンジ」のような体系的なベンチマークを設計することで、最小データで人間並みのインサイトと一般化を達成するための機械学習の知能を評価・向上できるか？

主な発見

• 人間は、最小限のトレーニング例を経て、しばしば1回の「インサイトの瞬間」で完璧またはほぼ完璧な分類精度を達成した。
• DCNNsは、同じ視覚的概念で人間と同等の性能に到達するまでに、約10^4倍のトレーニング例を必要とした。
• DCNNsは、分布外および敵対的設計のテストサンプルで体系的な誤りを犯し、長期間のトレーニング後でも、真の概念的理解が欠けていることを示した。
• 物体の数え上げ（1〜3個）のような単純な概念は、DCNNsにとってより学習可能であったが、対称性や均一性のような複雑な概念は、はるかに多くのデータを要し、依然として一般化性能が低かった。
• 研究では、DCNNsが「サイズは関係しない」といった不変則則を自ら推論できず、このようなルールはハードコードする必要があることが判明した。これは、推論能力における根本的な制限を示している。
• これらの結果は、最小データで人間並みのインサイトと一般化を達成するための新しいベンチマーク「Ahaチャレンジ」の必要性を支持している。