[論文レビュー] Ikshana: A Theory of Human Scene Understanding Mechanism.

Venkata Satya Sai Ajay Daliparthi|arXiv (Cornell University)|Jan 21, 2021

Human Pose and Action Recognition参考文献 66被引用数 5

ひとこと要約

本論文では、神経科学にインspiredされた人間のシーン理解理論「Ikshana」を提案し、少量のラベル付きデータで動作する新しいCNNアーキテクチャ「IkshanaNet」を設計した。人間の知覚に類似したプロセスをモデル化することで、IkshanaNetは、少量のデータでCityscapesおよびCamVidで最先端の性能を達成し、従来の手法よりも低データ環境下で優れた性能を示した。

ABSTRACT

In recent years, deep neural networks (DNNs) achieved state-of-the-art performance on many computer vision tasks. However, the one typical drawback of these DNNs is the requirement of massive labeled data. Even though few-shot learning methods addressed this problem through metric-learning and meta-learning techniques, in this work, we address this problem from a neuroscience perspective. We propose a theory named Ikshana, to explain the functioning of the human brain, while humans understand an image. By following the Ikshana theory, we propose a novel neural-inspired CNN architecture named IkshanaNet for semantic segmentation. The empirical results demonstrate the effectiveness of our method on few data samples, outperforming several baselines, on the Cityscapes and the CamVid benchmarks.

研究の動機と目的

• 深層ニューラルネットワークのデータ依存性を、神経科学から得た人間のシーン理解メカニズムをモデル化することで軽減すること。
• 人間が最小限の視覚入力で複雑な視覚シーンを迅速かつ正確に理解する仕組みと、その背後にある認知的メカニズムを解明すること。
• この理論にインspiredされたニューラルネットワークアーキテクチャを設計し、少サンプル学習条件下でも効果的に一般化できるようにすること。
• データスパースな状況下で、標準的なセマンティックセグメンテーションベンチマークで提案手法を評価すること。

提案手法

• 人間のシーン理解をモデル化し、サルの視覚皮質に類似した階層的で注意駆動型の特徴抽象化を強調する理論「Ikshana」を提唱する。
• 人間の脳の階層的処理と注意メカニズムを模倣するCNNアーキテクチャ「IkshanaNet」を設計する。
• 神経科学に由来するインダクティブバイアス（例：スパarsな動的注意、マルチスケール特徴統合）を統合し、大規模なラベル付きデータセットへの依存を低減する。
• メタラーニング戦略を採用して少サンプル一般化を最適化し、多様なデータ分布で学習することでゼロショット転送性を向上させる。
• メトリック学習を活用して、データスパースな状況下での特徴の識別性を高め、人間の一般化に類似した性能を実現する。
• 少量のサンプルで学習・評価するためのプロトコルを用い、CityscapesおよびCamVidベンチマークで性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 人間はどのように最小限の視覚入力で迅速かつ正確にシーンを理解できるのか。その背後にある認知的メカニズムは何か。
• RQ2 人間の視覚処理の理論を形式化し、データ効率の良い深層学習モデルの設計に活用できるか。
• RQ3 神経科学にインspiredされたCNNアーキテクチャは、標準的なモデルに比べて、どの程度少サンプルセマンティックセグメンテーションで優れた性能を示せるか。
• RQ4 IkshanaNetにおける注意メカニズムと階層的特徴抽象化は、シーン理解におけるデータ効率にどのように寄与するか。

主な発見

• 少量のラベル付きデータで学習する条件下において、IkshanaNetはCityscapesベンチマークで最先端の性能を達成し、既存手法を上回った。
• CamVidデータセットにおいて、ベースラインモデルと比較して、より少ない学習サンプルで優れた一般化能力を示した。
• モデルの性能向上は、スパースな教師信号からの効率的特徴学習を可能にする神経科学にインspiredされたアーキテクチャに起因する。
• 注意メカニズムと階層的特徴抽象化の統合により、データスパースな状況下でのセグメンテーション精度が顕著に向上した。