[논문 리뷰] Prior-Guided One-shot Neural Architecture Search

Peijie Dong, Xin Niu외 6명|arXiv (Cornell University)|2022. 06. 27.

Human Pose and Action Recognition인용 수 11

한 줄 요약

이 논문은 FLOPs와 Zen-Score를 활용한 사전 지도 정규화, 더 부드러운 활성화 함수, 그리고 샌드위치 규칙 기반 균형 임의 추출 전략을 통해 일회성 신경망 아키텍처 탐색에서 순위 일致성 향상을 위한 Prior-Guided One-shot NAS (PGONAS)를 제안한다. 이 방법은 CVPR 2022 NAS 챌린지 슈퍼넷 트랙에서 3위를 기록하며 피어슨 상관계수 83.20을 달성한다.

ABSTRACT

Neural architecture search methods seek optimal candidates with efficient weight-sharing supernet training. However, recent studies indicate poor ranking consistency about the performance between stand-alone architectures and shared-weight networks. In this paper, we present Prior-Guided One-shot NAS (PGONAS) to strengthen the ranking correlation of supernets. Specifically, we first explore the effect of activation functions and propose a balanced sampling strategy based on the Sandwich Rule to alleviate weight coupling in the supernet. Then, FLOPs and Zen-Score are adopted to guide the training of supernet with ranking correlation loss. Our PGONAS ranks 3rd place in the supernet Track Track of CVPR2022 Second lightweight NAS challenge. Code is available in https://github.com/pprp/CVPR2022-NAS?competition-Track1-3th-solution.

연구 동기 및 목표

• 일회성 NAS에서 슈퍼넷과 독립형 아키텍처 간의 약한 순위 상관계수 문제를 해결하여 정확한 성능 추정을 가능하게 하기 위해.
• 더 나은 샘플링 및 활성화 함수 설계를 통해 가중치 결합을 줄여 슈퍼넷 학습 안정성을 향상시키기 위해.
• 학습이 필요 없는 메트릭인 FLOPs와 Zen-Score를 손실 함수에 사전 정보로 통합하여 성능 예측 정확도를 향상시키기 위해.
• 추가적인 재학습이나 추가 감독 없이도 일회성 NAS에서 최신 기술 수준의 순위 일치성을 달성하기 위해.

제안 방법

• 순위 예측 가능성과 채널 간 정보 흐름을 향상시키기 위해 ReLU를 Mish 및 PReLU와 같은 더 부드러운 활성화 함수로 교체한다.
• 최대, 중간, 최소 아키텍처를 샘플링하는 샌드위치 규칙 기반 균형 임의 추출 전략을 제안하여 학습 안정성을 높이고 간섭을 줄인다.
• 슈퍼넷의 성능 순위가 FLOPs 및 Zen-Score와 같은 학습이 필요 없는 대체 메트릭과 일치하도록 정규화하는 순위 손실을 도입한다.
• 규제를 점진적으로 증가시켜 학습 불안정성을 방지하기 위해 손실 계수에 대한 웜업 스케줄러를 활용한다.
• 아키텍처 간 거리와 손실 가중치를 활용해 정규화 효과를 정밀 조정하여 다양한 아키텍처 간 일반화 능력을 향상시킨다.
• 사전 기반 정규화를 슈퍼넷 학습과 결합하여 슈퍼넷 예측과 실제 독립형 모델 정확도 간 상관계수를 향상시킨다.

실험 결과

연구 질문

• RQ1 다양한 활성화 함수는 가중치 공유 슈퍼넷 내 하위 네트워크의 순위 일치성에 어떤 영향을 미치는가?
• RQ2 샌드위치 규칙 기반 균형 임의 추출 전략은 슈퍼넷 학습 안정성 향상과 가중치 결합 감소에 기여하는가?
• RQ3 FLOPs 및 Zen-Score와 같은 학습이 필요 없는 메트릭이 슈퍼넷 학습을 안내하고 순위 예측을 향상시키는 데 얼마나 효과적인 사전 정보가 될 수 있는가?
• RQ4 사전 지도 슈퍼넷 학습에서 정규화 손실 계수에 최적의 스케줄링 전략은 무엇인가?
• RQ5 FLOPs 및 Zen-Score와 같은 다수의 사전 정보를 결합할 경우 단일 사전 정보 사용보다 더 나은 순위 일치성을 달성하는가?

주요 결과

• Mish 활성화 함수를 사용한 결과 최고의 순위 상관계수 81.56을 기록하여 ReLU(78.20)보다 유의미하게 뛰어나 부드러운 비선형성의 효과를 입증했다.
• 샌드위치 규칙 기반 균형 임의 추출 전략은 피어슨 상관계수 81.63을 기록하여 균일 샘플링(72.49)과 점진적 축소 전략(69.03)을 모두 초월했다.
• 손실 계수에 대한 웜업 스케줄러 적용 시 최고 성능을 기록하여 상관계수 83.20을 달성했으며, 일정, 코사인, 다단계 스케줄링보다 뛰어났다.
• FLOPs 지도 순위 손실은 상관계수 83.20을 기록하여 Zen-Score 지도 손실(83.00)보다 略로 뛰어나 FLOPs가 더 효과적인 사전 정보임을 시사했다.
• 사전 지도 없이도 최고 상관계수 80.65를 기록했지만, FLOPs나 Zen-Score 사전 정보를 적용한 결과 각각 83.20과 83.00으로 향상되어 사전 기반 정규화의 효과를 입증했다.
• 시각화 결과 FLOPs와 Zen-Score 간 상관계수는 95.97로 매우 높았지만 분포 패턴은 다름을 확인했으며, Zen-Score는 띠 모양의 집중 패턴을 보여 일반화 능력에 제한을 줄 수 있음이 확인되었다.