[논문 리뷰] GNAS: A Greedy Neural Architecture Search Method for Multi-Attribute Learning

Siyu Huang, Xi Li외 3명|arXiv (Cornell University)|2018. 04. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 29인용 수 14

한 줄 요약

GNAS는 다중 속성 학습을 위한 최적의 트리 구조 신경망을 자동으로 탐색하기 위해 반복적이고 계층별 최적화를 통해 검색 복잡도를 줄이는 탐욕스러운 신경망 아키텍처 탐색 방법을 제안한다. 이 방법은 1개의 GPU에서 2일 이내에 구현되며, 파arameter 수가 적고 추론 속도가 빠르며, 40개 속성 중 37개에서 기존 방법보다 정확도와 효율성 면에서 최고 성능을 기록한다.

ABSTRACT

A key problem in deep multi-attribute learning is to effectively discover the inter-attribute correlation structures. Typically, the conventional deep multi-attribute learning approaches follow the pipeline of manually designing the network architectures based on task-specific expertise prior knowledge and careful network tunings, leading to the inflexibility for various complicated scenarios in practice. Motivated by addressing this problem, we propose an efficient greedy neural architecture search approach (GNAS) to automatically discover the optimal tree-like deep architecture for multi-attribute learning. In a greedy manner, GNAS divides the optimization of global architecture into the optimizations of individual connections step by step. By iteratively updating the local architectures, the global tree-like architecture gets converged where the bottom layers are shared across relevant attributes and the branches in top layers more encode attribute-specific features. Experiments on three benchmark multi-attribute datasets show the effectiveness and compactness of neural architectures derived by GNAS, and also demonstrate the efficiency of GNAS in searching neural architectures.

연구 동기 및 목표

• 다중 속성 학습에서 수작업으로 설계된 깊은 아키텍처의 유연성 부족과 히ュ리스틱 성향을 해결하기 위해.
• 상호 속성 상관관계를 잘 포착하는 최적의 트리 구조 신경망 아키텍처를 자동으로 탐색하기 위해.
• 성능을 유지하면서도 다중 속성 환경에서 신경망 아키텍처 탐색의 계산 비용을 줄이기 위해.
• 메타학습이나 추가 하이퍼파ram터 없이도 효율적이고 확장 가능하며 일반화 가능한 아키텍처 탐색을 가능하게 하기 위해.

제안 방법

• GNAS는 전역 아키텍처 최적화를 개별 연결의 탐욕스럽고 계층별 최적화의 연속으로 수식화한다.
• 탐색 과정을 하위 레이어부터 시작하여 상향식으로 단계별로 국소 아키텍처를 최적화하는 방식으로 분해한다.
• 후보 아키텍처 간의 가중치 공유를 통해 학습 및 평가 속도를 가속화한다.
• 다중 속성 네트워크의 트리 구조를 활용하며, 공유 트렁크 레이어는 공통 특징을 나타내고 분기 레이어는 속성별로 특화된 표현을 캡처한다.
• 블록 간 유효한 연결로 정의된 검색 공간을 통해 임의의 블록 유형(예: 2D 컨볼루션, MLP 등)과 연결 유형을 허용한다.
• 반복적 정밀 조정을 통해 발견된 최적의 국소 아키텍처들을 조합하여 최종 전역 아키텍처를 구성한다.

실험 결과

연구 질문

• RQ1 탐욕스럽고 계층별 탐색 전략은 다중 속성 학습을 위한 고성능 트리 구조 신경망 아키텍처를 효과적으로 탐색할 수 있는가?
• RQ2 GNAS는 수작업 또는 강화학습 기반 방법과 비교해 아키텍처 탐색의 계산 부담을 줄이면서도 성능을 유지하거나 향상시키는가?
• RQ3 GNAS는 의미론적 상관관계를 반영하는 의미 있는 속성 그룹화를 자동으로 학습할 수 있는가?
• RQ4 정확도, 모델 크기, 추론 속도 측면에서 GNAS는 최신 기술 대비 어떻게 비교되는가?

주요 결과

• GNAS는 단일 GPU에서 최대 2일 이내에 신경망 아키텍처를 탐색하며, 정확도와 효율성 면에서 기존 최신 기술을 크게 앞서 간다.
• CelebA 데이터셋에서 GNAS는 평균 오차율을 최저로 기록했으며, 40개 속성 중 37개에서 최고 성능을 기록했고, '매력적'이나 '타원형 얼굴' 같은 전반적 얼굴 속성에서는 약간의 성능 저하가 있었을 뿐이다.
• LFWA에서의 아키텍처 시각화 결과, GNAS는 얼굴 털 관련 속성과 털 종류 등 의미적으로 유의미한 그룹화를 자연스럽게 학습하고 있음을 보여주며, 상호 속성 상관관계를 효과적으로 모델링하고 있음을 시사한다.
• GNAS 모델은 이전 방법보다 더 컴act하고 추론 속도가 빠르며, 더 적은 파라미터로도 더 높은 정확도를 달성한다.
• 이 방법은 강건하고 일반화 가능하며, 텐서 크기가 호환되는 한 임의의 신경 블록과 연결 유형을 처리할 수 있다.