[논문 리뷰] Analogous to Evolutionary Algorithm: Designing a Unified Sequence Model

Jiangning Zhang, Chao Xu외 8명|arXiv (Cornell University)|2021. 05. 31.

Evolutionary Algorithms and Applications참고 문헌 78인용 수 13

한 줄 요약

이 논문은 시각 Transformer와 진화 알고리즘(EA) 간의 유사성을 바탕으로, 자기주의/변이 및 교차/변이 연산자 간 일관된 수학적 형식을 드러내는 통합 시퀀스 모델인 EAT(Evolutionary Algorithm-inspired Transformer)를 제안한다. 전역 주의력과 병렬로 작동하는 局부 연산자를 도입하고, 공간 메우는 곡선(SFC)을 사용해 다중모odal 데이터를 1차원 시퀀스로 순차화하며, 태스크별 헤드를 설계해 다중태스크 학습의 유연성을 확보한다. 파arameter 수가 적고 처리량이 높은 점을 감안할 때 ImageNet-1k에서 최신 기준 성능(80.264 top-1)을 달성한다.

ABSTRACT

Inspired by biological evolution, we explain the rationality of Vision Transformer by analogy with the proven practical Evolutionary Algorithm (EA) and derive that both of them have consistent mathematical representation. Analogous to the dynamic local population in EA, we improve the existing transformer structure and propose a more efficient EAT model, and design task-related heads to deal with different tasks more flexibly. Moreover, we introduce the spatial-filling curve into the current vision transformer to sequence image data into a uniform sequential format. Thus we can design a unified EAT framework to address multi-modal tasks, separating the network architecture from the data format adaptation. Our approach achieves state-of-the-art results on the ImageNet classification task compared with recent vision transformer works while having smaller parameters and greater throughput. We further conduct multi-modal tasks to demonstrate the superiority of the unified EAT, e.g., Text-Based Image Retrieval, and our approach improves the rank-1 by +3.7 points over the baseline on the CSS dataset.

연구 동기 및 목표

• 진화 알고리즘(EA)이 최적화에서 안정성과 강건성으로 알려져 있다는 점을 고려해, 시각 Transformer의 학습 프로세스에 대해 이론적 근거를 제공하기 위해 EA와의 유사성을 제시한다.
• EA에서 영감을 얻은 동적 국소 집단 개념을 도입하여 시각 Transformer의 효율성과 성능을 향상시키고, 전역 주의력과 병행하는 국소 연산자를 갖춘 새로운 EAT 아키텍처를 제안한다.
• 2차원/3차원 데이터를 일관된 1차원 시퀀스 형식으로 변환하기 위해 공간 메우는 곡선(SFC)을 사용하여 다중모달 시퀀스 모델링을 통합함으로써, 데이터 표현 방식과 네트워크 아키텍처를 분리한다.
• Transformer 백본과 통합되는 태스크 관련 헤드를 설계하여, 하류 태스크에서의 탄력적인, 태스크별 적응을 가능하게 하고, 전이 학습 능력을 향상시킨다.
• 분류 및 다중모달 태스크(예: 텍스트 기반 이미지 검색) 전반에 걸쳐 통합된 EAT 프레임워크의 우수성을 입증한다.

제안 방법

• 기본 진화 알고리즘(EA)과 시각 Transformer의 학습 파이프라인을 유사시켜, 각각의 구성 요소를 대응시킨다: 패치 임bed딩을 개체로, 멀티헤드 자기주의(MSA)를 전역 교차로, 피드포워드 네트워크(FFN)를 변이로 간주한다.
• EA 연산자(교차 및 변이)와 신경망 구성요소(MSA 및 FFN) 간의 수학적 동치성을 유도하여, 동일한 기능 형식을 가짐을 보여준다.
• EA의 동적 국소 집단 개념에서 영감을 얻어, 전역 MSA와 병행하는 국소 연산자(예: 1D 컨볼루션, 국소 MSA)를 도입함으로써 EAT 모델을 제안한다.
• 래스터라이즈된 2D/3D 데이터(이미지, 영상)를 1D 시퀀스로 변환하기 위해 공간 메우는 곡선(SFC) 모듈을 도입하여, 2D 리셰이핑 없이도 다양한 모odal 간 일관된 입력을 가능하게 한다.
• EAT 백본에 도킹되는 태스크 관련 헤드를 설계하여, 탄력적인 태스크별 특징 융합과 하류 전이 학습 능력 향상을 가능하게 한다.
• 네트워크 아키텍처와 데이터 포맷 적응을 분리한 통합 EAT 프레임워크를 사용하여, 하나의 모델이 다양한 모달을 처리할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 시각 Transformer의 학습 역학은 진화 알고리즘(EA)과의 유사성을 통해 이론적으로 정당화될 수 있으며, 이들 간에 일관된 수학적 형식이 존재하는가?
• RQ2 EA에서 영감을 얻은 동적 국소 집단 개념을 병행하는 국소 연산자를 통해 시각 Transformer의 효율성과 성능은 어떻게 향상되는가?
• RQ3 공간 메우는 곡선(SFC)을 사용해 다중모달 데이터(예: 이미지, 영상)를 1D 시퀀스 형식으로 효과적으로 순차화할 수 있으며, 이 과정에서 2D의 공간 구조를 유지할 수 있는가?
• RQ4 태스크별 헤드를 갖춘 통합 EAT 프레임워크는 분류 및 텍스트 기반 이미지 검색을 포함한 다양한 시각 및 다중모달 태스크에 얼마나 잘 일반화되는가?
• RQ5 기존의 시각 Transformer와 비교했을 때 EAT 모델은 정확도, 파라미터 수, 추론 처리량 측면에서 어떤가?

주요 결과

• EAT 모델은 ImageNet-1k에서 80.264의 top-1 정확도를 달성하여, 최근의 시각 Transformer 방법들을 능가하지만 파라미터 수는 적고 처리량은 더 높다.
• 제거 실험 결과, 헤드 레이어 수를 1개에서 4개로 늘일수록 정확도가 향상되며(79.692에서 80.454로), 성능과 파라미터 효율성의 균형을 고려해 2개로 선택하였다.
• 국소 비율이 0.50일 때 최적의 성능을 보였으며, 높은 비율(예: 0.75)은 정확도를 떨어뜨리고 파라미터를 증가시켰다.
• SFC 모드의 영향은 뚜렷했으며, Z-Order 및 SIS(순차 인덱싱 체계)가 Sweep 및 Scan을 능가했고, Z-Order/SIS 조합은 256×256 이미지에서 80.438의 top-1 정확도를 기록했다.
• 국소 연산자를 딥웨이즈 분리형 컨볼루션(DCN)으로 교체할 경우 정확도가 급격히 떨어지며(68.070으로), 하이퍼파ram터 튜닝과 아키텍처 선택에 민감함을 보였다.
• 텍스트 기반 이미지 검색을 위한 CSS 데이터셋에서 EAT 모델은 베이스라인 대비 랭크-1 정확도를 +3.7점 향상시켰다. 이는 강력한 다중모달 능력을 보여준다.