[논문 리뷰] Peripheral Vision Transformer

Juhong Min, Yucheng Zhao외 2명|arXiv (Cornell University)|2022. 06. 14.

CCD and CMOS Imaging SensorsEngineering인용 수 18

한 줄 요약

이 논문은 새로운 다중 헤드 주변 시각 주의(MPA) 메커니즘을 통해 주변 유도적 편향을 주입함으로써 인간의 주변 시각과 유사한 계층적 시각 인식을 학습할 수 있는 비전 트랜스포머인 PerViT을 제안한다. 시선 거리 기반의 토러스 모양 영역에 걸쳐 주의를 모델링함으로써, 다양한 모델 크기에서 ImageNet-1K에서 최신 기준 성능을 달성하며, DeiT 기준선 대비 최대 4.2%의 top-1 정확도 향상을 기록한다.

ABSTRACT

Human vision possesses a special type of visual processing systems called peripheral vision. Partitioning the entire visual field into multiple contour regions based on the distance to the center of our gaze, the peripheral vision provides us the ability to perceive various visual features at different regions. In this work, we take a biologically inspired approach and explore to model peripheral vision in deep neural networks for visual recognition. We propose to incorporate peripheral position encoding to the multi-head self-attention layers to let the network learn to partition the visual field into diverse peripheral regions given training data. We evaluate the proposed network, dubbed PerViT, on ImageNet-1K and systematically investigate the inner workings of the model for machine perception, showing that the network learns to perceive visual data similarly to the way that human vision does. The performance improvements in image classification over the baselines across different model sizes demonstrate the efficacy of the proposed method.

연구 동기 및 목표

• 딥 뉴럴 네트워크에 인간의 주변 시각 생물학적 원리를 통합하여 인간 시각과 기계 시각 간 격차를 해소하고자 한다.
• 표준 자기 주의의 공간 계층 모델링 한계를 해결하고자 시선 중심으로부터의 거리 기반 영역 특화 주의를 도입하고자 한다.
• 인간 시각 시스템처럼 세밀한 국소적 특징과 거시적 전경을 동시에 학습할 수 있도록 트랜스포머의 성능을 향상시키고자 한다.
• 제안된 메커니즘이 명시적 지도 없이도 인간의 시각 처리 방식과 유사한 주의 패턴을 유도하는지 검증하고자 한다.
• 다양한 모델 크기와 후행 작업에서 주변 유도적 편향의 효과를 입증하고자 한다.

제안 방법

• 이미지 중심으로부터의 거리에 따라 위치 임베딩을 할당하는 주변 위치 인코딩(Φp)을 도입하여, 토러스 모양의 주의 영역을 모델링한다.
• 다중 헤드 주변 시각 주의(MPA) 레이어를 제안하며, 쿼리와 키를 3×3 국소 수용장치를 가진 학습 가능한 투영 헤드를 통해 주변 영역으로 투영한다.
• 훈련 안정성을 높이고 주의 계산의 공간 일관성을 확보하기 위해 정규화된 좌표([-1,1])를 사용한다.
• 다양한 스케일의 특징을 캡처하기 위해 채널 차원과 주의 헤드 수가 증가하는 네 단계의 하이브리드 아키텍처를 사용한다.
• 주변 투영 헤드의 차원은 4×N_h이며, 국소 공간적 맥락을 주변 표현에서 포착하기 위해 이웃 수 K=3을 사용한다.
• 데이터 증강, 레이블 스무딩, 미크스업을 포함한 DeiT의 훈련 레시피를 따르며, AdamW 옵timizer와 코스인 학습률 감소 전략을 사용한다.

실험 결과

연구 질문

• RQ1 자기 주의 레이어에 주변 유도적 편향을 주입함으로써 비전 트랜스포머의 시각 인식 성능을 향상시킬 수 있는가?
• RQ2 제안된 PerViT 모델의 주의 맵이 인간의 주변 시각과 유사한 계층적 패턴을 보이며, 중심 영역은 세밀한 세부 사항에 집중하고 주변 영역은 전경 맥락에 집중하는가?
• RQ3 표준 학습 가능한 위치 임베딩과 비교해 볼 때, 제안된 주변 위치 인코딩은 정확도와 효율성 측면에서 어떻게 비교되는가?
• RQ4 모델은 CIFAR-100 및 iNaturalist-19와 같은 전이 학습 작업으로 일반화 잘 되는가?
• RQ5 아키텍처의 대대적인 개편 없이도 다양한 모델 크기에서 주변 주의 메커니즘이 효과적으로 작동하는가?

주요 결과

• PerViT은 DeiT 기준선 대비 ImageNet-1K에서 최대 4.2% 높은 top-1 정확도를 기록하며, 특히 토이 모델에서 가장 큰 향상을 보였다.
• 주변 위치 인코딩(Φp)은 총 모델 크기의 0.6% 미만이지만, 다양한 모델 크기에서 1.4%에서 4.2%의 정확도 향상을 기여하여 성능에 크게 기여한다.
• 모델은 강력한 일반화 능력을 보이며, CIFAR-100과 iNaturalist-19에서 DeiT-B를 약 1%p 뛰어넘었고, CIFAR-10에서는 동일한 성능를 유지했다.
• 주의 맵의 정성적 분석 결과, 초기 레이어는 세밀한 세부 사항을 위해 중심 영역에 주의를 기울이고, 더 깊은 레이어는 전경 맥락을 위해 주변 영역에 주의를 기울이며 인간의 시각 처리 방식을 모방한다.
• 이 방법은 효율적이며, 주변 인코딩으로 인한 계산 비용은 매우 낮아(PerViT-M에서 0.31M 파라미터), FLOPs도 낮게 유지된다.
• 모델의 성능는 랜덤 증강 및 미크스업을 포함한 다양한 훈련 레시피와 데이터 증강 전략에서도 강건하게 유지되어 강력한 일반화 능력을 보였다.