[논문 리뷰] Analyzing and Mitigating Interference in Neural Architecture Search

Jin Xu, Xu Tan외 6명|arXiv (Cornell University)|2021. 08. 29.

Advanced Neural Network Applications참고 문헌 52인용 수 12

한 줄 요약

이 논문은 가중치 공유 신경망 아키텍처 탐색(NAS)에서 간섭을 줄이기 위해 연속적인 자식 모델 샘플 간의 위상적 변화를 최소화하는 MAGIC-T와 공유 연산자 간의 입력/출력을 정렬하는 MAGIC-A를 제안한다. 이 방법은 예측된 정확도와 실제 정확도 간의 순위 상관관계를 향상시켜 GLUE 개발 및 테스트 세트에서 RoBERTa보다 각각 1.1점과 0.6점 높은 성능을 내는 BERT 아키텍처를 도출하며, ELECTRA를 1.6점과 1.1점 뛰어넘는 성능을 기록한다.

ABSTRACT

Weight sharing is a popular approach to reduce the cost of neural architecture search (NAS) by reusing the weights of shared operators from previously trained child models. However, the rank correlation between the estimated accuracy and ground truth accuracy of those child models is low due to the interference among different child models caused by weight sharing. In this paper, we investigate the interference issue by sampling different child models and calculating the gradient similarity of shared operators, and observe: 1) the interference on a shared operator between two child models is positively correlated with the number of different operators; 2) the interference is smaller when the inputs and outputs of the shared operator are more similar. Inspired by these two observations, we propose two approaches to mitigate the interference: 1) MAGIC-T: rather than randomly sampling child models for optimization, we propose a gradual modification scheme by modifying one operator between adjacent optimization steps to minimize the interference on the shared operators; 2) MAGIC-A: forcing the inputs and outputs of the operator across all child models to be similar to reduce the interference. Experiments on a BERT search space verify that mitigating interference via each of our proposed methods improves the rank correlation of super-pet and combining both methods can achieve better results. Our discovered architecture outperforms RoBERTa$_{ m base}$ by 1.1 and 0.6 points and ELECTRA$_{ m base}$ by 1.6 and 1.1 points on the dev and test set of GLUE benchmark. Extensive results on the BERT compression, reading comprehension and ImageNet task demonstrate the effectiveness and generality of our proposed methods.

연구 동기 및 목표

• 가중치 공유 NAS에서 서로 다른 자식 모델들에 의해 공유 연산자에 갈등하는 기울기 업데이트가 발생하는 근본 원인을 규명하는 것.
• 자기구조적 차이와 입력/출력 변동이 공유 연산자에 미치는 간섭에 어떤 영향을 미치는지 정량화하는 것.
• 연속적인 자식 모델 샘플 간의 위상적 변화를 제어하여 간섭을 줄이는 방법을 제안하는 것.
• 공유 연산자 간의 입력과 출력을 자식 모델 간에 정렬하는 메커니즘을 설계하여 기울기 갈등을 줄이는 것.
• 제안된 방법의 효과성을 BERT 미리학습, 모델 압축, ImageNet 분류 과제에서 검증하는 것.

제안 방법

• MAGIC-T는 연속적인 학습 단계 간에 한 개의 연산자씩 점진적으로 수정함으로써 위상적 변화를 최소화하고 공유 가중치에 대한 간섭을 줄인다.
• MAGIC-A는 성능이 높은 모델을 앵커로 삼고, 모든 자식 모델의 공유 연산자 입력과 출력을 앵커 모델의 활성화에 맞추어 정렬한다.
• 기울기 유사도 분석을 통해 간섭을 정량화하며, 자식 모델 간에 다른 연산자의 수가 많을수록 간섭이 증가함을 보여준다.
• 공유 연산자들이 자식 모델 간에 유사한 입력 및 출력 분포를 가질수록 간섭이 감소한다는 관찰을 활용한다.
• 두 방법은 MAGIC-AT로 조합되어 간섭을 더욱 줄이고 검색 성능을 향상시킬 수 있다.
• 실험은 BERT 및 MobileNet-V2 검색 공간에 대해 다중 헤드 어텐션, 피드포워드 네트워크, 컨볼루션을 포함하는 하이브리드 슈퍼넷을 사용한다.

실험 결과

연구 질문

• RQ1 다양한 유형의 연산자들이 포함된 복잡한 검색 공간에서 가중치 공유 NAS에서 간섭을 유발하는 요인는 무엇인가?
• RQ2 연속적인 자식 모델 간에 다른 연산자의 수가 공유 가중치에 대한 간섭에 어떤 영향을 미치는가?
• RQ3 자식 모델 간 공유 연산자의 입력/출력 유사도가 간섭에 얼마나 영향을 미치는가?
• RQ4 샘플링 단계 간 점진적인 아키텍처 변화가 NAS에서 간섭을 줄이고 정확도 순위를 향상시키는 데 기여하는가?
• RQ5 앵커 모델을 통해 공유 연산자들의 입력과 출력을 정렬함으로써 간섭을 줄이고 검색 성능을 향상시킬 수 있는가?

주요 결과

• MAGIC-T와 MAGIC-A는 각각 슈퍼넷 내에서 예측 정확도와 실제 정확도 간의 순위 상관관계를 향상시키며, 둘을 조합한 MAGIC-AT가 가장 우수한 성능을 기록한다.
• 제안된 방법은 GLUE 개발 및 테스트 세트에서 RoBERTa보다 각각 1.1점과 0.6점 높은 점수를 기록하는 BERT 아키텍처를 발견한다.
• 이 모델은 더 적은 파라미터를 사용하면서도 ELECTRA를 1.6점과 1.1점 뛰어넘는 성능을 기록한다.
• SQuAD v1.1 및 v2.0 독해 과제에서는 RoBERTa보다 EM 점수로 각각 0.6점과 0.7점 높고, F1 점수로 각각 1.7점과 2.2점 높은 성능을 기록한다.
• ImageNet에서는 MAGIC-AT가 600M FLOPS 제약 조건 하에 23.2%의 top-1 오차율을 기록하며, ProxylessNAS 및 PC-NAS와 같은 이전 NAS 방법을 능가한다.
• BERT 모델 압축 과제에서는 추가적인 디스틸리케이션 기법 없이도 이전 접근법을 초월하는 아키텍처를 발견하여 강력한 일반화 능력을 입증한다.