[논문 리뷰] Searching for Stage-wise Neural Graphs In the Limit

Xin Zhou, Dejing Dou외 1명|arXiv (Cornell University)|2019. 12. 30.

Neural Networks and Applications참고 문헌 38인용 수 4

한 줄 요약

이 논문은 무작위 그래프의 연속적이고 극한의 객체인 그래폰(graphons)을 신경망 아키텍처 탐색(NAS)을 위한 새로운 검색 공간으로 사용함으로써 단계별 신경망 아키텍처에 대해 확장 가능하고 이론적으로 탄탄한 탐색을 가능하게 한다. 그래폰 이론과 컷거리( cut-distance ) 메트릭을 활용하여 CIFAR-10에서의 소규모 그래프를 효율적으로 탐색하고, 이를 대규모 ImageNet 대응 아키텍처로 확장한다. 이 방법은 정확도에서 DenseNet과 Watts-Strogatz 무작위 그래프를 능가한다.

ABSTRACT

Search space is a key consideration for neural architecture search. Recently, Xie et al. (2019) found that randomly generated networks from the same distribution perform similarly, which suggests we should search for random graph distributions instead of graphs. We propose graphon as a new search space. A graphon is the limit of Cauchy sequence of graphs and a scale-free probabilistic distribution, from which graphs of different number of nodes can be drawn. By utilizing properties of the graphon space and the associated cut-distance metric, we develop theoretically motivated techniques that search for and scale up small-capacity stage-wise graphs found on small datasets to large-capacity graphs that can handle ImageNet. The scaled stage-wise graphs outperform DenseNet and randomly wired Watts-Strogatz networks, indicating the benefits of graphon theory in NAS applications.

연구 동기 및 목표

• 기존 NAS의 비효율성과 중복 문제를 해결하기 위해 이산적 그래프 탐색에서 확률적 분포 탐색으로의 전환을 목적으로 한다.
• 고정된 크기와 수작업으로 설계된 셀 구조의 한계를 극복하기 위해 확장 가능하고 단계별 아키텍처 설계를 가능하게 한다.
• 그래폰 이론을 활용해 소규모 고성능 단계별 그래프를 대규모 모델로 확장하는 이론적으로 탄탄한 방법을 개발한다.
• 그래폰 기반 아키텍처가 DenseNet과 무작위 WS 네트워크와 같은 기존 베이스라인보다 정확도와 일반화 능력에서 뛰어나다는 것을 입증한다.

제안 방법

• 커트-거리(cut-distance) 메트릭을 기반으로 한 Cauchy 수열의 그래프의 연속적이고 극한의 객체로 그래폰을 제안함으로써 통합적이고 표현력 있는 검색 공간을 제공한다.
• 그래프 간 유사도를 측정하고 확장 과정에서 이론적 수렴을 보장하기 위해 컷거리 메트릭을 활용한다.
• 소규모 고성능 단계별 그래프를 크기를 확장하면서도 구조적 및 성능적 특성을 유지하는 k-폴드 블로업(k-fold blow-up) 방법을 적용한다.
• 중간 크기의 그래프를 위해 1D 선형 보간과 분수 블로업 기법을 적용하며, 컷거리 오차에 대한 이론적 경계를 제공한다.
• CIFAR-10에서의 소규모 NAS를 통해 최적의 그래폰 기반 단계 구조를 탐색한 후, 이를 ImageNet 크기의 모델로 확장한다.
• 동일한 학습 및 하이퍼파rameter 설정 하에 확장된 아키텍처를 DenseNet과 WS 무작위 그래프와 비교하여 방법의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 그래폰은 이산적 그래프보다 NAS에서 더 효율적이고 표현력 있는 검색 공간이 될 수 있는가?
• RQ2 소규모 고성능 단계별 그래프는 성능을 유지하면서 어떻게 안정적으로 대규모 아키텍처로 확장될 수 있는가?
• RQ3 커트거리 메트릭은 확장 과정에서 그래프 유사도를 측정하고 제어하기 위한 이론적으로 탄탄한 기반을 제공하는가?
• RQ4 그래폰 기반 아키텍처는 정확도와 일반화 능력에서 기존의 베이스라인인 DenseNet과 WS 네트워크를 능가할 수 있는가?
• RQ5 분수 상승 기법의 이론적 오차 경계는 그래프의 구조를 확장하는 동안 얼마나 유지되는가?

주요 결과

• 그래폰 기반 방법은 CIFAR-10에서의 소규모 고성능 단계별 그래프를 ImageNet으로 성공적으로 확장하여 DenseNet과 WS 무작위 그래프보다 뛰어난 정확도를 달성했다.
• k-폴드 블로업 방법은 1D 선형 보간보다 원래 그래프의 컷거리 측정에서 더 나은 근사치를 제공한다.
• 분수 상승 기법은 오차가 유한하게 제한되며, 반의 수의 노드를 추가할 경우 최악의 컷거리 편차가 βΔ/6 이내가 된다.
• 이 방법은 네트워크 성능의 핵심 요소가 정확한 그래프가 아니라 그 배경이 되는 무작위 그래프 분포임을 입증함으로써 분포 수준의 탐색으로의 전환을 검증한다.
• 다양한 데이터셋과 평가 지표에서 그래폰 기반 아키텍처는 일관되게 베이스라인보다 뛰어난 성능을 보이며 이론적 프레임워크의 효과성을 확인한다.