[논문 리뷰] Auto-Prox: Training-Free Vision Transformer Architecture Search via Automatic Proxy Discovery

Zimian Wei, Lujun Li외 7명|arXiv (Cornell University)|2023. 12. 14.

Machine Learning in Materials Science인용 수 10

한 줄 요약

Auto-Prox는 evolutionary search를 이용한 joint correlation metric으로 비전 트랜스포머를 위한 제로-코스트 프록시를 자동으로 발견하여 학습 없는 ViT 아키텍처 검색을 가능하게 하고, 여러 데이터셋에서 강한 순위 매김과 정확도를 달성합니다.

ABSTRACT

The substantial success of Vision Transformer (ViT) in computer vision tasks is largely attributed to the architecture design. This underscores the necessity of efficient architecture search for designing better ViTs automatically. As training-based architecture search methods are computationally intensive, there is a growing interest in training-free methods that use zero-cost proxies to score ViTs. However, existing training-free approaches require expert knowledge to manually design specific zero-cost proxies. Moreover, these zero-cost proxies exhibit limitations to generalize across diverse domains. In this paper, we introduce Auto-Prox, an automatic proxy discovery framework, to address the problem. First, we build the ViT-Bench-101, which involves different ViT candidates and their actual performance on multiple datasets. Utilizing ViT-Bench-101, we can evaluate zero-cost proxies based on their score-accuracy correlation. Then, we represent zero-cost proxies with computation graphs and organize the zero-cost proxy search space with ViT statistics and primitive operations. To discover generic zero-cost proxies, we propose a joint correlation metric to evolve and mutate different zero-cost proxy candidates. We introduce an elitism-preserve strategy for search efficiency to achieve a better trade-off between exploitation and exploration. Based on the discovered zero-cost proxy, we conduct a ViT architecture search in a training-free manner. Extensive experiments demonstrate that our method generalizes well to different datasets and achieves state-of-the-art results both in ranking correlation and final accuracy. Codes can be found at https://github.com/lilujunai/Auto-Prox-AAAI24.

연구 동기 및 목표

• 학습 없이 ViT 아키텍처 검색의 도전을 해결하기 위해 수동 프록시 설계 제거 및 교차 도메인 일반화 향상.
• 여러 데이터셋에서 제로-코스트 프록시를 실제 성능과 대조하기 위한 ViT-Bench-101을 생성합니다.
• 일반적이고 고품질의 프록시를 발견하기 위한 자동 프록시 검색 공간 및 효과적인 진화적 검색 전략을 개발합니다.
• 다양한 데이터셋 전반에서 프록시 일반화를 최적화하기 위한 joint correlation metric를 제안합니다.
• 발견된 프록시가 최소 검색 비용으로 경쟁력 있거나 최첨단의 순위 매김 및 최종 ViT 성능을 가능하게 한다는 것을 보여줍니다.

제안 방법

• 다양한 ViT 아키텍처와 그들의 여러 데이터셋에서의 실제 성능으로 ViT-Bench-101을 구성합니다.
• 활성화, 가중치, 그래디언트 등 ViT 통계를 이용하고 계산 그래프를 형성하는 다양한 단항 및 이항 연산을 포함한 제로-코스트 프록시 검색 공간을 정의합니다.
• 프록시를 각 계층당 두 입력의 표현식 트리로 계산 그래프로 표현하고 Joint Correlation Metric(JCM)에 의해 이끄는 엘리트주의 보존 진화 검색으로 이를 진화시킵니다.
• 고성능 프록시를 세대 간에 유지하고 열화하는 것을 방지하기 위한 엘리트주의 보존 전략을 도입합니다.
• 별도의 ViT 검색 공간에서 AutoProxA와 AutoProxP를 계산하고 그 수식을 분석하여 ViT 성능과 무엇이 상관되는지 이해합니다.
• 발견된 프록시를 이용해 후보 ViT를 점수화하고 Auto-Prox 점수에 따라 최적의 ViT를 선택함으로써 학습 없는 ViT 아키텍처 검색을 수행합니다.

실험 결과

연구 질문

• RQ1 완전 자동 프록시 발견 프로세스가 여러 ViT 설계 공간과 데이터셋에 일반화되는 제로-코스트 프록시를 생성할 수 있는가?
• RQ2 여러 데이터셋의 성능 상관을 모아 만든 joint correlation metric이 단일 데이터셋 프록시보다 프록시 일반화를 향상시키는가?
• RQ3 엘리트주의 보존 진화 검색이 발견된 프록시의 효율성과 품질에 어떤 영향을 미치는가?

주요 결과

• Auto-Prox는 여러 데이터셋에서 실제 ViT 성능과의 순위 매김 상관관계에서 기존의 제로-코스트 프록시보다 더 높은 상관성을 보인다.
• joint correlation metric은 교차 데이터셋 프록시 일반화를 개선하여 다양한 과제와 데이터 레짐에 걸쳐 안정적인 프록시 발견을 가능하게 한다.
• 엘리트주의 보존 전략은 검색 효율성을 높이고 진화 과정에서 프록시의 열화를 방지한다.
• Auto-Prox를 사용한 학습 없는 ViT 검색은 검색 비용이 매우 낮은 상태에서도 경쟁력 있거나 최첨단 결과를 낸다(0.1 GPU days on a single NVIDIA A40).
• Auto-Prox가 발견한 프록시는 ViT 순위 매김 작업에서 TF-TAS와 같은 수동 설계 프록시보다 우수하며 여러 ViT-Bench-101 데이터셋에서 최종 증류/정확도 측면에서도 우수하다.
• Auto-Prox를 통한 학습 없는 검색으로 선택된 ViT는 벤치마크된 공간에서 ImageNet-1K에서 강한 성능을 달성할 수 있다.