[논문 리뷰] CATE: Computation-aware Neural Architecture Encoding with Transformers

Yan Shen, Kaiqiang Song외 2명|arXiv (Cornell University)|2021. 02. 14.

Neural Networks and Applications참고 문헌 87인용 수 8

한 줄 요약

CATE는 변환 기반 고정 인코딩의 한계를 해결하기 위해 트랜스포머를 사용한 쌍체 전훈련 방식을 통해 계산 인지형 신경망 아키텍처 인코딩 방법을 제안한다. 이는 계산적으로 유사한 아키텍처 쌍에 대해 마스킹된 언어 모델링을 적용하고 인과적 어텐션을 활용하여 밀도 높고 맥락 기반의 표현을 학습함으로써, 내부 및 외부 검색 공간 NAS 벤치마크에서 뛰어난 성능과 일반화 능력을 달성한다. 특히 인접 행렬과 같은 고정 인코딩 기반의 기존 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Recent works (White et al., 2020a; Yan et al., 2020) demonstrate the importance of architecture encodings in Neural Architecture Search (NAS). These encodings encode either structure or computation information of the neural architectures. Compared to structure-aware encodings, computation-aware encodings map architectures with similar accuracies to the same region, which improves the downstream architecture search performance (Zhang et al., 2019; White et al., 2020a). In this work, we introduce a Computation-Aware Transformer-based Encoding method called CATE. Different from existing computation-aware encodings based on fixed transformation (e.g. path encoding), CATE employs a pairwise pre-training scheme to learn computation-aware encodings using Transformers with cross-attention. Such learned encodings contain dense and contextualized computation information of neural architectures. We compare CATE with eleven encodings under three major encoding-dependent NAS subroutines in both small and large search spaces. Our experiments show that CATE is beneficial to the downstream search, especially in the large search space. Moreover, the outside search space experiment demonstrates its superior generalization ability beyond the search space on which it was trained. Our code is available at: https://github.com/MSU-MLSys-Lab/CATE.

연구 동기 및 목표

• 신경망 아키텍처 탐색(NAS)에서 고정된 변환 기반 계산 인지형 인코딩의 한계를 해결하기 위해, 일반화 능력이 떨어지고 전훈련이 효과적으로 이루어지지 않는 문제를 해결하고자 한다.
• 트랜스포머의 자기어텐션 및 상호어텐션 메커니즘을 활용해 깊이 있는 맥락 기반 표현을 학습함으로써 계산 인지형 인코딩의 표현 능력을 향상시키고자 한다.
• 장거리 종속성과 계산 국소성 정보를 포착할 수 있는 쌍체 학습 방식을 통해 아키텍처 인코더의 효과적인 전훈련을 가능하게 하고자 한다.
• 학습된 맥락 기반 인코딩이 분포 외 검색 공간에서 고정 인코딩보다 더 우수한 일반화 성능을 보이는지 검증하고자 한다.
• 다양한 NAS 서브루틴과 검색 공간에 적용 가능한 확장성 있고 일반적인 아키텍처 인코딩 방법을 제공하고자 한다.

제안 방법

• CATE는 계산적으로 유사한 아키텍처 쌍에 대해 일부 연산을 마스킹한 후, 모델이 마스킹된 연산자들을 예측하도록 훈련하는 쌍체 전훈련 방식을 사용한다.
• 모델은 아키텍처 쌍 각각을 인코딩하기 위해 공유 가중치를 가진 트랜스포머 인코더를 사용하고, 이후 양쪽 인코딩의 공동 정보를 융합하기 위해 상호어텐션 트랜스포머를 적용한다.
• 인접 행렬에서 유도된 인과적 마스크는 신경망 아키텍처의 방향성 및 비순환성 흐름을 존중하도록 하며, BERT에서 사용되는 표준 이중방향 어텐션을 대체한다.
• 모델는 마스킹된 언어 모델링(MLM) 목적함수를 사용해 깊이 있는 맥락 기반 계산 표현을 학습한다.
• 장거리 종속성을 강화하기 위해 플로이드-워셜 알고리즘 결과를 인접 행렬에 추가하여 간접 연결까지 포괄한다.
• 최종 아키텍처 인코딩은 상호어텐션 출력에서 유도되며, 예측 기반 탐색, 강화 학습, 밴딧 기반 탐색 등의 후속 NAS 서브루틴에 활용된다.

실험 결과

연구 질문

• RQ1 트랜스포머를 활용한 쌍체 전훈련 방식이 고정 변환 기반 방법보다 더 효과적인 계산 인지형 아키텍처 인코딩을 학습할 수 있는가?
• RQ2 상호어텐션과 인과적 마스킹의 사용이 아키텍처의 계산 흐름 모델링과 일반화 능력을 향상시키는가?
• RQ3 CATE는 고정 인코딩(예: 인접 행렬)에 비해 분포 외 검색 공간에서의 일반화 성능이 어떻게 되는가?
• RQ4 아키텍처 쌍 샘플링 전략, 하이퍼파라미터, 마스킹 유형이 후속 NAS 성능에 미치는 영향은 무엇인가?
• RQ5 CATE는 더 큰, 미리 보지 못한 검색 공간으로도 효과적으로 일반화될 수 있는가? 이때 높은 정확도와 효율성을 유지하는가?

주요 결과

• CATE는 훈련된 검색 공간 외부에서 인접 행렬 인코딩을 크게 앞서며, 150개의 쿼리 예산에서 NAS-Bench-101에서 검증 오차 5.94%를 기록했다.
• 간접 종속성 마스크가 직접 마스크보다 우수한 성능을 보였으며, NAS-Bench-101에서 테스트 오차를 0.09% 감소시키고, NAS-Bench-301에서는 0.05% 감소시켜 장거리 종속성 모델링이 인코딩 품질을 향상시킨다는 것을 입증했다.
• 더 많은 상호어텐션 블록($L_c$)과 넓은 피드포워드 레이어($d_{ff}$)는 NAS 성능을 향상시키며, $L_c=24$와 $d_{ff}=64$ 조합에서 NAS-Bench-101에서 최저 오차 5.95%를 기록했다.
• 작은 이웃 수 $K$와 강한 계산 국소성($\delta$)이 더 좋은 성능을 내며, $\delta = 1 \times 10^6$ 및 $K=2$ 조합에서 최적의 성능을 보였다.
• CATE는 훈련된 검색 공간을 초월해 효과적으로 일반화되며, 소규모 및 대규모 NAS 벤치마크에서 뛰어난 강건성과 확장성을 보였다.
• 예측 기반, 강화 학습, 밴딧 기반 탐색을 포함한 세 가지 인코딩 의존성 NAS 서브루틴에서 최신 기술 수준의 성능을 달성했다.