[논문 리뷰] Ikshana: A Theory of Human Scene Understanding Mechanism.

Venkata Satya Sai Ajay Daliparthi|arXiv (Cornell University)|2021. 01. 21.

Human Pose and Action Recognition참고 문헌 66인용 수 5

한 줄 요약

이 논문은 뇌과학에 영감을 받은 인간의 시각적 장면 이해 이론인 Ikshana를 제안하며, 소수의 레이블이 있는 데이터로도 성능을 내는 새로운 CNN 아키텍처인 IkshanaNet을 설계한다. 인간과 유사한 인지 메커니즘을 모델링함으로써, IkshanaNet은 최소한의 레이블 데이터로도 Cityscapes와 CamVid에서 최신 기준 성능을 달성하며, 저데이터 환경에서 기존 방법들을 능가한다.

ABSTRACT

In recent years, deep neural networks (DNNs) achieved state-of-the-art performance on many computer vision tasks. However, the one typical drawback of these DNNs is the requirement of massive labeled data. Even though few-shot learning methods addressed this problem through metric-learning and meta-learning techniques, in this work, we address this problem from a neuroscience perspective. We propose a theory named Ikshana, to explain the functioning of the human brain, while humans understand an image. By following the Ikshana theory, we propose a novel neural-inspired CNN architecture named IkshanaNet for semantic segmentation. The empirical results demonstrate the effectiveness of our method on few data samples, outperforming several baselines, on the Cityscapes and the CamVid benchmarks.

연구 동기 및 목표

• 뇌과학에서 유래한 인간의 시각적 장면 이해 메커니즘을 모델링하여 딥 뉴럴 네트워크의 데이터 의존도 문제를 해결하고자 한다.
• 최소한의 시각적 입력으로도 인간이 어떻게 복잡한 시각적 장면을 신속하고 정확하게 이해하는지에 대한 인지 메커니즘을 설명하는 이론을 개발하고자 한다.
• 이 이론에 영감을 받은 신경망 아키텍처를 설계하여 소수의 학습 샘플 조건에서도 효과적으로 일반화할 수 있도록 하고자 한다.
• 저데이터 설정 조건에서 표준 세그멘테이션 벤치마크에서 제안된 방법의 성능을 평가하고자 한다.

제안 방법

• 프리미티브 시각 피질과 유사한 계층적이고 주의 중심의 특징 추상화를 강조하는 인간의 장면 이해 이론인 Ikshana를 제안한다.
• 인간 뇌의 계층적 처리 및 주의 메커니즘을 모방하는 CNN 아키텍처인 IkshanaNet을 설계한다.
• 희소하고 동적인 주의 메커니즘과 다중 해상도 특징 융합과 같은 뇌과학에 기반한 인덕티브 바이어스를 통합하여 대규모 레이블 데이터셋에 대한 의존도를 줄인다.
• 소수의 학습 샘플에 대한 일반화 성능을 향상시키기 위해 메타학습 전략을 활용하며, 다양한 데이터 분포에서 학습하여 제로샷 전이 능력을 향상시킨다.
• 저데이터 환경에서 특징의 분류 능력을 향상시키기 위해 메트릭 학습을 활용하며, 인간과 유사한 일반화 성능을 달성한다.
• 저데이터 설정 조건에서 성능을 검증하기 위해 Cityscapes와 CamVid 벤치마크에서 소수의 학습 프로토콜을 사용해 훈련 및 평가를 수행한다.

실험 결과

연구 질문

• RQ1 인간은 최소한의 시각적 입력으로 어떻게 빠르고 정확하게 장면을 이해할 수 있으며, 이러한 능력의 뒷받침이 되는 인지 메커니즘은 무엇인가?
• RQ2 뇌과학에 기반한 인간의 시각 처리 이론을 형식화하여 데이터 효율적인 딥 러닝 모델 설계에 활용할 수 있는가?
• RQ3 뇌과학에 영감을 받은 CNN 아키텍처가 소수의 학습 샘플 조건에서 기존 모델보다 얼마나 뛰어난 성능을 보일 수 있는가?
• RQ4 IkshanaNet의 주의 메커니즘과 계층적 특징 추상화는 시각적 장면 이해에서 데이터 효율성에 어떻게 기여하는가?

주요 결과

• 소수의 레이블이 있는 데이터 조건에서 IkshanaNet은 Cityscapes 벤치마크에서 최신 기준 성능을 달성하며, 기존 방법들보다 뛰어난 성능을 보였다.
• CamVid 데이터셋에서 IkshanaNet은 기존 베이스라인 모델 대비 훨씬 적은 학습 샘플로도 뛰어난 일반화 능력을 보였다.
• 모델의 성능 향상 요인은 희소 지도 학습에서도 효율적인 특징 학습이 가능한 뇌과학에 기반한 아키텍처 덕분이었다.
• 주의 메커니즘과 계층적 특징 추상화의 통합이 저데이터 환경에서의 세그멘테이션 정확도 향상에 크게 기여했다.