[논문 리뷰] TransNAS-Bench-101: Improving Transferability and Generalizability of Cross-Task Neural Architecture Search

Yawen Duan, Xin Chen외 5명|arXiv (Cornell University)|2021. 05. 25.

Advanced Neural Network Applications참고 문헌 34인용 수 4

한 줄 요약

TransNAS-Bench-101은 분류, 세분화, 자동에코딩, 자기학습 학습을 포함한 일곱 가지 다양한 시각 작업—즉, 분류, 세분화, 자동에코딩, 자기학습 학습—에 대해 셀 수준과 매크로 수준의 두 가지 검색 공간에서 7,352개의 신경망 아키텍처를 평가하는 종합적인 벤치마크를 도입한다. 주요 기여는 성능, FLOPs, 추론 시간를 포함한 대규모로 완전히 훈련된 데이터셋을 제공함으로써 NAS에서의 이식 가능성과 일반화 능력을 강력하게 평가할 수 있도록 하는 것으로, REA-이식이 매크로 수준 검색 공간에서 99.11번째 백분위수 성능을 기록한 최고의 성능을 보였다.

ABSTRACT

Recent breakthroughs of Neural Architecture Search (NAS) extend the field's research scope towards a broader range of vision tasks and more diversified search spaces. While existing NAS methods mostly design architectures on a single task, algorithms that look beyond single-task search are surging to pursue a more efficient and universal solution across various tasks. Many of them leverage transfer learning and seek to preserve, reuse, and refine network design knowledge to achieve higher efficiency in future tasks. However, the enormous computational cost and experiment complexity of cross-task NAS are imposing barriers for valuable research in this direction. Existing NAS benchmarks all focus on one type of vision task, i.e., classification. In this work, we propose TransNAS-Bench-101, a benchmark dataset containing network performance across seven tasks, covering classification, regression, pixel-level prediction, and self-supervised tasks. This diversity provides opportunities to transfer NAS methods among tasks and allows for more complex transfer schemes to evolve. We explore two fundamentally different types of search space: cell-level search space and macro-level search space. With 7,352 backbones evaluated on seven tasks, 51,464 trained models with detailed training information are provided. With TransNAS-Bench-101, we hope to encourage the advent of exceptional NAS algorithms that raise cross-task search efficiency and generalizability to the next level. Our dataset file will be available at Mindspore, VEGA.

연구 동기 및 목표

• 이미지 분류를 초월해 교차 작업 신경망 아키텍처 탐색(NAS)을 지원하는 종합적인 벤치마크가 부족한 문제를 해결하기 위해.
• 다양한 시각 작업을 통해 대규모로 완전히 훈련된 데이터셋을 제공함으로써, 이식 가능하고 일반화 가능한 NAS 연구의 계산적 장벽을 낮추기 위해.
• 여러 작업과 검색 공간을 통해 정책 및 아키텍처 이식 전략을 평가하고 비교하기 위해.
• 부정적 이식과 작업 이동 감도와 같은 이식 가능한 NAS의 주요 과제를 규명하고 향후 알고리즘 설계를 위한 실질적인 통찰을 제공하기 위해.
• 다양한 작업과 검색 공간에서 잘 작동하는 더 효율적이고 견고하며 일반화 가능한 NAS 알고리즘의 개발을 촉진하기 위해.

제안 방법

• 각 셀이 미분 가능한 DAG인 셀 수준 검색 공간과 네트워크 깊이 및 블록 연산 구성에 대해 유연한 매크로 수준 검색 공간을 설계한다.
• 객체 분류, 경관 분류, 세분화, 자동에코딩, 실내 레이아웃 예측, 표면 법선 추정, 조각 맞추기 퍼즐 해결 등 일곱 가지 다양한 시각 작업에서 7,352개의 신경망 아키텍처 기반 모델을 훈련하고 평가한다.
• 정확도, FLOPs, 추론 시간, 훈련 로그를 포함한 정밀한 진단 정보를 각 모델에 제공하여 재현 가능하고 깊이 있는 분석을 지원한다.
• 네 가지 이식 전략을 구현하고 평가한다: 직접 아키텍처 이식, 직접 정책 이식(PPO), CATCH(에ncoder와 평가기 구성 요소를 갖춘 정책 이식 방법), 사전 훈련된 개체 집합 초기화를 사용한 유전 알고리즘 기반 이식(REA).
• 모든 작업과 검색 공간에서 일관된 실험 프rotocol을 사용하여 공정한 비교와 신뢰할 수 있는 이식 학습 성능 벤치마크를 보장한다.
• 전체적으로 193,760 GPU 시간(단일 V100에서 약 22.12년에 해당)을 사용하여 모든 모델을 사전 훈련하고 평가함으로써 향후 연구의 부담을 크게 줄였다.

Figure 1: Our cell-level and macro-level search space in TransNAS-Bench-101. We design a cell-level search space that treats each cell as a DAG and a macro-level search space that allows flexible macro skeleton network design.

실험 결과

연구 질문

• RQ1 분류, 회귀, 자기학습 학습을 포함한 다양한 시각 작업 간 지식을 이식할 때 NAS 알고리즘의 성능는 어떻게 변하는가?
• RQ2 직접 아키텍처 이식, 정책 이식, 유전 기반 초기화와 같은 다양한 이식 전략은 교차 작업 NAS에서 일반화 능력과 효율성을 얼마나 향상시키는가?
• RQ3 셀 수준과 매크로 수준 검색 공간은 다양한 작업에서 이식 가능성과 성능의 견고성 측면에서 어떻게 비교되는가?
• RQ4 특성 차이가 상당한 작업 간에 NAS 정책이나 아키텍처를 이식할 때 일관된 성능를 유지하는 데 있어 주요 과제는 무엇인가?
• RQ5 CATCH와 같은 이식 방법에 추가 구성 요소(예: 작업 인코더와 평가기)가 부정적 이식을 효과적으로 완화하고 견고성을 향상시키는 데 기여하는가?

주요 결과

• 원천 작업에서 대상 작업으로 아키텍처를 직접 이식하는 것은 무작위 탐색보다도 성능이 현저히 열 劣하므로, 부정적 이식의 위험이 높다는 것을 시사한다.
• 직접 정책 이식(PPO 등)은 직접 아키텍처 이식보다 성능이 뛰어나지만, 원천 작업과 대상 작업이 상당히 다를 경우에도 여전히 부정적 이식에 취약하다.
• 작업 인코더와 후보 평가기 구성 요소를 포함한 CATCH는 매크로 수준 검색 공간에서 객체 분류 작업에서 성능 향상을 보였지만, 셀 수준 공간에서 실내 레이아웃 작업에서는 어려움을 겪었다.
• 사전 훈련된 개체 집합 초기화를 사용한 유전 알고리즘 기반 이식(REA)은 모든 작업에서 평균적으로 가장 높은 성능을 기록했으며, 셀 수준과 매크로 수준 검색 공간에서 각각 99.02번째 및 99.11번째 백분위수 성능에 도달했다.
• 벤치마크는 일부 작업에서는 네트워크 매크로 구조 설계가 셀 수준 설계보다 성능에 더 큰 영향을 미친다는 것을 드러내었으며, 이는 NAS 연구가 셀 기반 검색 공간을 초월해야 한다는 시사점을 제공한다.
• NAS의 일반화 능력 향상 여전히 큰 개선 여지가 있으며, 어떤 단일 방법도 모든 작업과 검색 공간에서 다른 방법들을 일관되게 능가하지 못하므로, 더 적응형이고 견고한 이식 메커니즘의 필요성이 강조된다.

Figure 2: Vision tasks considered in our benchmarks. We carefully select those 7 tasks above to ensure both diversity and similarity across tasks from Taskonomy [ 35 ] .