[논문 리뷰] AdaNet: A Scalable and Flexible Framework for Automatically Learning Ensembles

Charles Weill, Javier Gonzalvo외 10명|arXiv (Cornell University)|2019. 04. 30.

Advanced Neural Network Applications참고 문헌 13인용 수 13

한 줄 요약

AdaNet는 확장성 있고 TensorFlow 기반인 AutoML 프레임워크로, 적응적이고 분산 학습을 통해 반복적으로 하위 네트워크를 탐색하고 조합하여 고성능 앙상블을 자동으로 학습합니다. 이 프레임워크는 표본 및 시각 작업에서 최신 기술 성능을 달성하며, 40.56%의 벤치마크 표본 데이터셋에서 기울기 부스팅 트리 및 넓은-깊은 모델과 같은 기준 모델을 능가합니다.

ABSTRACT

AdaNet is a lightweight TensorFlow-based (Abadi et al., 2015) framework for automatically learning high-quality ensembles with minimal expert intervention. Our framework is inspired by the AdaNet algorithm (Cortes et al., 2017) which learns the structure of a neural network as an ensemble of subnetworks. We designed it to: (1) integrate with the existing TensorFlow ecosystem, (2) offer sensible default search spaces to perform well on novel datasets, (3) present a flexible API to utilize expert information when available, and (4) efficiently accelerate training with distributed CPU, GPU, and TPU hardware. The code is open-source and available at: https://github.com/tensorflow/adanet.

연구 동기 및 목표

• 최소한의 전문가 간섭으로 고품질 기계학습 앙상블를 자동으로 구성하는 것.
• 생산 배포 및 도구 호환성을 위해 텐서플로우 생태계와 원활하게 통합하는 것.
• 대규모 데이터셋을 위한 CPU, GPU, TPU에서 효율적이고 확장 가능한 분산 학습을 가능하게 하는 것.
• 기존 지식 또는 사전 학습된 모델을 사용한 자동 탐색 및 전문가가 이끄는 탐색을 모두 지원하는 것.
• 앙상블 학습을 통해 모델 성능과 복잡성의 균형을 이루는 원칙적인 적응적 탐색 전략을 제공하는 것.

제안 방법

• AdaNet는 병렬(백킹 유사) 및 순차적(부스팅 유사) 앙상블을 조합한 적응적 탐색 전략을 사용하여 동적 탐색 공간을 탐색합니다.
• 각 반복에서 하위네트워크 생성기를 활용해 후보 모델을 생성하며, 이는 이전 반복에서 가장 성능이 좋았던 앙상블에 기반해 아키텍처를 적응적으로 조정합니다.
• 프레임워크는 동적 하위네트워크 생성 및 분산 워커 간의 파라미터 공유를 관리하기 위해 적응적 계산 그래프를 사용합니다.
• 두 가지 분산 학습 전략을 지원합니다: 파라미터 서버 기반 복제 및 라운드로빈 워커 할당으로, 하위네트워크 수에 따라 선형 확장성을 달성합니다.
• 시스템은 지휘 워커를 통해 조율 및 체크포인트 관리를 수행하여 장애 발생 후 복구 및 장애 내성 보장을 합니다.
• Serving, Hub, Model Analysis 등의 텐서플로우 도구와의 호환성을 위해 tf.estimator와 통합되며, Keras API는 현재 개발 중입니다.

실험 결과

연구 질문

• RQ1 자동화된 프레임워크는 분산 하드웨어에서 효율적으로 확장되면서도 최소한의 인간 간섭으로 고성능 앙상블를 학습할 수 있는가?
• RQ2 탄력적이고 확장 가능한 AutoML 시스템은 앙상블 학습에서 모델 성능과 복잡성의 균형을 어떻게 유지할 수 있는가?
• RQ3 실제 세계의 표본 및 시각 데이터셋에서 적응적이고 반복적인 하위네트워크 탐색은 고정된 앙상블 기준 모델을 얼마나 능가할 수 있는가?
• RQ4 전문 지식 또는 사전 학습된 모델의 통합은 자동 앙상블 학습의 성능 및 수렴에 어떤 영향을 미치는가?
• RQ5 분산 학습을 위한 설계된 프레임워크는 하위네트워크 및 워커 수에 따라 선형으로 확장되며, 장애 내성을 유지할 수 있는가?

주요 결과

• AdaNet는 100개 이상의 표본 데이터셋 중 40.56%에서 최고의 모델 성능를 기록했으며, 두 시간 이내 학습 창에서 기울기 부스팅 트리(29.44%) 및 기타 기준 모델을 능가했습니다.
• CIFAR-100에서 AdaNet는 NASNet-A 하위네트워크를 사용해 테스트 오류율 14.58%를 달성하여 시각 작업에서 뛰어난 성능를 입증했습니다.
• 라운드로빈 분산 학습 전략은 고유한 앙상블 인프라보다 더 빠르고 확장 가능한 학습을 가능하게 하여 시스템 복잡성 감소와 반복 속도 향상을 이룹니다.
• AdaNet는 실제 생산 환경에서 복잡한 고유의 앙상블 시스템을 성공적으로 대체하여 배포를 단순화하면서도 모델 품질을 유지하거나 향상시켰습니다.
• 체크포인트 기반 복구를 통해 장애 발생 후 자동으로 복구하는 장애 내성을 입증했습니다.
• 복잡성 정규화된 앙상블러를 사용함으로써 앙상블 손실와 모델 복잡성 간의 원칙적인 트레이드오���을 가능하게 하였으며, Cortes 등(2017)의 이론적 보장과 일치했습니다.