[논문 리뷰] Attention on Abstract Visual Reasoning

Lukas Hahne, Timo Lüddecke외 2명|arXiv (Cornell University)|2019. 11. 14.

Multimodal Machine Learning Applications참고 문헌 21인용 수 8

한 줄 요약

이 논문은 추상적 시각적 추론 작업을 해결하기 위해 트랜스포머의 자기주의(self-attention)와 와일드 리레이션 네트워크(WReN)의 관계 추론을 융합한 하이브리드 딥러닝 모델인 어텐션 리레이션 네트워크(ARNe)를 소개한다. ARNe는 Procedural Generated Matrices(PGMs) 데이터셋에서 최신 기술인 WReN 모델보다 11.28 ppt 높은 정확도를 달성하며, 전체 훈련 데이터의 35%만으로도 최고 성능에 도달하여 뛰어난 샘플 효율성을 입증한다.

ABSTRACT

Attention mechanisms have been boosting the performance of deep learning models on a wide range of applications, ranging from speech understanding to program induction. However, despite experiments from psychology which suggest that attention plays an essential role in visual reasoning, the full potential of attention mechanisms has so far not been explored to solve abstract cognitive tasks on image data. In this work, we propose a hybrid network architecture, grounded on self-attention and relational reasoning. We call this new model Attention Relation Network (ARNe). ARNe combines features from the recently introduced Transformer and the Wild Relation Network (WReN). We test ARNe on the Procedurally Generated Matrices (PGMs) datasets for abstract visual reasoning. ARNe excels the WReN model on this task by 11.28 ppt. Relational concepts between objects are efficiently learned demanding only 35% of the training samples to surpass reported accuracy of the base line model. Our proposed hybrid model, represents an alternative on learning abstract relations using self-attention and demonstrates that the Transformer network is also well suited for abstract visual reasoning.

연구 동기 및 목표

• 인간의 유동적 지능과 인지 처리 과정에서의 주의의 역할을 영감으로 삼아, 주의 메커니즘을 활용한 추상적 시각적 추론을 위한 딥러닝 모델을 개발하는 것.
• 자신의 주의 메커니즘이 없는 한계를 지닌 기존 모델들(예: WReN)의 문제점을 해결하기 위해, 주의가 인간의 시각적 추론에서 중요한 역할을 한다는 점을 고려하는 것.
• 훈련의 샘플 효율성을 향상시켜 표준 딥러닝 접근 방식보다 훨씬 적은 레이블이 부여된 예시로도 높은 성능을 달성하는 것.
• 트랜스포터에서 유래한 자기주의 메커니즘이 비어 있는, 추상적 시각적 추론 작업에 효과적으로 적용될 수 있는지 탐구하는 것.

제안 방법

• ARNe는 컨볼루션 신경망(CNN) 패널 인코더, 트랜스포터 기반 자기주의 메커니즘, WReN를 영감으로 한 관계 추론 모듈을 통합한다.
• 모델은 3×3 행렬의 각 패널을 시각적 토큰의 시퀀스로 처리하여, 자기주의가 패널 간 객체 간의 관계를 동적으로 가중할 수 있도록 한다.
• 암묵적인 관계 규칙을 학습하는 데 도움을 주기 위해 보조 신호로 메타타겟 손실(meta-target loss)을 도입하여 훈련의 안정성과 성능을 향상시킨다.
• 패널 표현을 조립하는 동안 시퀀스를 분리하기 위해 학습 가능한 구분 토큰을 사용하여, 개별 시각적 요소 간의 주의를 향상시킨다.
• 드롭아웃 비율, 학습률, 메타타겟의 β-가중치와 같은 하이퍼파ram터는 성능 최적화를 위해 탈락 분석(ablation studies)을 통해 조정된다.
• 모델은 PGM 데이터셋에서 평가되며, WReN 및 기타 기준 모델들과 비교되며, 자기주의를 피드포워드 네트워크로 대체한 탈락 버전도 포함된다.

실험 결과

연구 질문

• RQ1 트랜스포터에서 유래한 자기주의 메커니즘은 자연어 처리를 초월한 추상적 시각적 추론 작업에 효과적으로 적용될 수 있는가?
• RQ2 자기주의와 관계 추론을 융합한 ARNe가 WReN와 같은 최신 기술 모델보다 PGM 데이터셋에서 성능을 향상시키는가?
• RQ3 ARNe는 훈련에서 얼마나 뛰어난 샘플 효율성을 보이며, 훨씬 적은 레이블이 부여된 예시로도 최고 성능에 도달할 수 있는가?
• RQ4 구분 토큰, 드롭아웃, 메타타겟 감독과 같은 아키텍처 구성 요소가 모델 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ5 MAC 아키텍처는 왜 WReN 기반 인코더와 함께 PGM 작업에서 실패하는가? 이는 시각적 추론 작업에 적합한 아키텍처의 적합성에 대해 무엇을 드러내는가?

주요 결과

• ARNe는 PGM 데이터셋에서 최신 기술인 WReN 모델보다 11.28%포인트 높은 정확도를 기록하며, 훈련 데이터의 35%만으로도 테스트 정확도 87.64%를 달성한다.
• 모델는 전체 PGM 데이터셋의 35%만으로도 최고 성능에 도달하여, 표준 딥러닝 모델 대비 뛰어난 샘플 효율성을 보여준다.
• 탈락 분석 결과, 드롭아웃과 구분 토큰이 작은 데이터셋에서 성능 향상에 기여함을 확인하여 정규화 효과가 있음을 시사한다.
• 메타타겟 감독을 제거했을 경우(β = 0), 모델이 수렴하지 못함을 확인하여 보조 신호가 관계 패턴 학습에 필수적임을 입증한다.
• 입력 이미지 해상도를 160×160 픽셀에서 80×80 픽셀로 낮추자 정확도가 15 ppt 감소하여, 미세한 시각적 구조가 모델의 추론에 핵심적임을 시사한다.
• MAC 아키텍처는 WReN 기반 인코더와 함께 PGM에서 빈약한 성능을 보였으며, 이는 작업의 관계적 구조와 아키텍처 간의 부적합성을 시사한다.