[論文レビュー] Auto-Prox: Training-Free Vision Transformer Architecture Search via Automatic Proxy Discovery

Zimian Wei, Lujun Li+7 more|arXiv (Cornell University)|Dec 14, 2023

Machine Learning in Materials Science被引用数 10

ひとこと要約

Auto-Prox は進化的探索と共同相関指標を用いて Vision Transformers のゼロコスト代理を自動発見し、訓練不要の ViT アーキテクチャ探索を可能にし、複数データセットで強いランキングと精度を達成します。

ABSTRACT

The substantial success of Vision Transformer (ViT) in computer vision tasks is largely attributed to the architecture design. This underscores the necessity of efficient architecture search for designing better ViTs automatically. As training-based architecture search methods are computationally intensive, there is a growing interest in training-free methods that use zero-cost proxies to score ViTs. However, existing training-free approaches require expert knowledge to manually design specific zero-cost proxies. Moreover, these zero-cost proxies exhibit limitations to generalize across diverse domains. In this paper, we introduce Auto-Prox, an automatic proxy discovery framework, to address the problem. First, we build the ViT-Bench-101, which involves different ViT candidates and their actual performance on multiple datasets. Utilizing ViT-Bench-101, we can evaluate zero-cost proxies based on their score-accuracy correlation. Then, we represent zero-cost proxies with computation graphs and organize the zero-cost proxy search space with ViT statistics and primitive operations. To discover generic zero-cost proxies, we propose a joint correlation metric to evolve and mutate different zero-cost proxy candidates. We introduce an elitism-preserve strategy for search efficiency to achieve a better trade-off between exploitation and exploration. Based on the discovered zero-cost proxy, we conduct a ViT architecture search in a training-free manner. Extensive experiments demonstrate that our method generalizes well to different datasets and achieves state-of-the-art results both in ranking correlation and final accuracy. Codes can be found at https://github.com/lilujunai/Auto-Prox-AAAI24.

研究の動機と目的

• 訓練不要な ViT アーキテクチャ探索の課題に対処するために、手動プロキシ設計を排除し、クロスドメイン一般化を高める。
• 複数データセットに跨り、実際の性能とゼロコスト代理を比較するための ViT-Bench-101 を作成する。
• 自動的なプロキシ探索空間と、汎用的で高品質なプロキシを発見するための効果的な進化探索戦略を開発する。
• 多様なデータセット全体で代理一般化を最適化するための Joint Correlation Metric を提案する。
• 発見されたプロキシが、最小の探索コストで競争力のあるまたは最先端のランキングと最終的な ViT パフォーマンスを実現できることを示す。

提案手法

• 複数のデータセットに対する真の性能とともに、多様な ViT アーキテクチャを用いて ViT-Bench-101 を構築する。
• ViT の統計量（活性化、重み、勾配）を用い、計算グラフを形成する一変数・二変数操作の豊富な集合からゼロコスト代理探索空間を定義する。
• プロキシを計算グラフとして表現する（層ごとに二入力の式木）し、Joint Correlation Metric（JCM）に導かれたエリート主義を保持する進化探索でそれらを進化させる。
• 世代を超えて高性能なプロキシを維持し、劣化を防ぐエリート主義保持戦略を導入する。
• 別々の ViT 探索空間で Proxy AutoProxA と AutoProxP を計算し、ViT パフォーマンスと相関する要因を理解するためにその式を分析する。
• 発見された proxy を用いて候補 ViT をスコアリングし Auto-Prox スコアに従って最良を選択することで、訓練不要な ViT アーキテクチャ探索を実行する。

実験結果

リサーチクエスチョン

• RQ1 完全自動のプロキシ発見プロセスは、複数の ViT 設計空間とデータセットに跨って一般化するゼロコスト代理を生み出せるか？
• RQ2 複数のデータセット全体の性能相関を統合する Joint Correlation Metric は、単一データセットの proxy と比較して代理の一般化を改善するか？
• RQ3 エリート主義保持型の進化探索は、発見されたプロキシの効率と品質にどのように影響するか？

主な発見

• Auto-Prox は、複数のデータセットに跨る実際の ViT パフォーマンスとのランキング相関で、既存のゼロコスト代理より高い成果を達成する。
• Joint Correlation Metric はクロスデータセットの代理一般化を改善し、多様なタスクとデータレジームにわたる安定した代理発見を可能にする。
• エリート主義保持戦略は探索効率を高め、進化中の代理の劣化を防ぐ。
• Auto-Prox を用いた訓練不要の ViT 探索は、非常に低い探索コスト（0.1 GPU days on a single NVIDIA A40）で競争力のあるまたは最先端の結果をもたらす。
• Auto-Prox により発見された代理は、ViT ランキングタスクと複数の ViT-Bench-101 データセットの最終蒸留/精度において、TF-TAS のような手作り代理を上回る。
• 訓練不要探索で Auto-Prox によって選択された ViTs は、ベンチマーク空間で評価したとき ImageNet-1K で高い性能を達成できる。