[논문 리뷰] VINNAS: Variational Inference-based Neural Network Architecture Search

Martin Ferianc, Hongxiang Fan외 1명|arXiv (Cornell University)|2020. 07. 12.

Advanced Neural Network Applications참고 문헌 44인용 수 6

한 줄 요약

VINNAS는 초그래프 내에서 불필요한 연산과 연결을 자동으로 제거하기 위해 변분 추론과 변분 드롭아웃을 사용하며, 자동 관련성 결정(ARD) 사전을 적용한 미분 가능한 신경망 아키텍처 탐색 방법을 제안한다. 이는 기존 최고 성능(SOTA) 대비 최대 2배 적은 비영원 파라미터를 사용하면서 CIFAR-10에서 최고 성능을 달성하며, 모드 붕괴를 방지하고 다양하고 희소한 아키텍처를 생성한다.

ABSTRACT

In recent years, neural architecture search (NAS) has received intensive scientific and industrial interest due to its capability of finding a neural architecture with high accuracy for various artificial intelligence tasks such as image classification or object detection. In particular, gradient-based NAS approaches have become one of the more popular approaches thanks to their computational efficiency during the search. However, these methods often experience a mode collapse, where the quality of the found architectures is poor due to the algorithm resorting to choosing a single operation type for the entire network, or stagnating at a local minima for various datasets or search spaces. To address these defects, we present a differentiable variational inference-based NAS method for searching sparse convolutional neural networks. Our approach finds the optimal neural architecture by dropping out candidate operations in an over-parameterised supergraph using variational dropout with automatic relevance determination prior, which makes the algorithm gradually remove unnecessary operations and connections without risking mode collapse. The evaluation is conducted through searching two types of convolutional cells that shape the neural network for classifying different image datasets. Our method finds diverse network cells, while showing state-of-the-art accuracy with up to almost 2 times fewer non-zero parameters.

연구 동기 및 목표

• 기울기 기반 신경망 아키텍처 탐색(NAS) 방법에서의 모드 붕괴와 낮은 일반화 성능 문제를 해결하기 위해.
• 인간의 간섭 없이 불필요한 연산과 연결을 자동으로 제거하는, 미분 가능한 아키텍처 탐색을 가능하게 하기 위해.
• 변분 추론을 통해 연산의 중요도를 확률적으로 모델링하여 탐색 효율성과 다양성을 향상시키기 위해.
• строго한 정규화를 통해 모델 파라미터를 최소화하면서 이미지 분류 벤치마크에서 최고 성능을 달성하기 위해.
• 크기 외에 불확실성 추정(로그 분산을 통해)을 함께 사용하여 보다 견고한 연산 선택을 위한 탐색을 탐색하기 위해.

제안 방법

• VINNAS는 변분 추론 프레임워크를 사용하여 연산 가중치와 그 중요도를 학습 가능한 랜덤 변수로 모델링한다.
• ARD 사전을 적용한 변분 드롭아웃을 적용하여 중요도가 낮은 연산과 연결을 자동으로 제거하도록 유도한다.
• 탐색 중 탐색을 장려하면서도 선택된 연산에 대해 높은 신뢰도를 유지하기 위해 고유한 자가정규화 손실을 사용한다.
• 모든 후보 연산을 포함하는 초그래프에서 탐색을 수행하며, 역전파를 통해 학습 가능한 아키텍처 파rameter(α)를 추정한다.
• 셀 기반의 CNN에서 아키텍처 탐색을 수행하며, 정상 셀과 감소 셀을 반복 복제하여 전체 네트워크를 구성한다.
• 탐색 후, 일반화 성능 향상을 위해 표준 데이터 증강, 드롭패스, 보조 타워를 사용하여 아키텍처를 재학습한다.

실험 결과

연구 질문

• RQ1 변분 추론과 ARD 사전를 사용하면 기울기 기반 NAS에서 모드 붕괴를 효과적으로 방지할 수 있는가?
• RQ2 연산 가중치의 불확실성은 크기 기반 선택을 초월하여 아키텍처 탐색에 기여하는가?
• RQ3 제안된 방법은 상당히 적은 파라미터로 최고 성능을 달성하는가?
• RQ4 MNIST, 패션MNIST, CIFAR-10과 같은 다양한 데이터셋에 대해 이 방법은 일반화 가능한가?
• RQ5 수동적인 아키텍처 편향 없이 자동으로 다양한 희소 아키텍처를 발견할 수 있는가?

주요 결과

• VINNAS는 SOTA 대비 비영원 파라미터를 거의 2배 줄이며 CIFAR-10에서 최고 성능의 테스트 정확도를 달성했다.
• 이 방법은 모드 붕괴를 성공적으로 방지하여, 모든 셀에서 동일한 연산을 사용하는 것이 아니라 다양한 유형의 연산을 포함한 아키텍처를 생성했다.
• MNIST에서는 낮은 양의 신호 대 잡음비(SNR)를 가지는 일부 연결을 식별하여 안전하게 제거할 수 있음을 보여주었으며, 이는 데이터셋의 일반화 용이성을 반영한다.
• CIFAR-10의 경우, 모든 연산과 연결이 높은 추론 중요도를 보였으며, 복잡하고 풍부한 아키텍처가 발견되었음을 시사한다.
• 크기 외에 불확실성(로그 분산)을 함께 사용함으로써 연산 선택 성능이 약간 향상되었다.
• 모든 발견된 아키텍처는 재학습 후 표준 정규화를 적용한 후에도 뛰어난 일반화 성능을 보였으며, 모든 데이터셋에서 높은 테스트 정확도를 기록했다.