[論文レビュー] AdaNet: A Scalable and Flexible Framework for Automatically Learning Ensembles

Charles Weill, Javier Gonzalvo+10 more|arXiv (Cornell University)|Apr 30, 2019

Advanced Neural Network Applications参考文献 13被引用数 13

ひとこと要約

AdaNet は、スケーラブルで TensorFlow に依存する AutoML フレームワークであり、適応的で分散型のトレーニングを用いて、反復的にサブネットワークを探索・結合することで、高パフォーマンスなアンサンブルを自動で学習する。タブル型およびビジョンタスクにおいて最先端の性能を達成しており、40.56% のベンチマークタブル型データセットで勾配ブースティングツリーおよびワイド・アンド・ディープモデルなどのベースラインを上回っている。

ABSTRACT

AdaNet is a lightweight TensorFlow-based (Abadi et al., 2015) framework for automatically learning high-quality ensembles with minimal expert intervention. Our framework is inspired by the AdaNet algorithm (Cortes et al., 2017) which learns the structure of a neural network as an ensemble of subnetworks. We designed it to: (1) integrate with the existing TensorFlow ecosystem, (2) offer sensible default search spaces to perform well on novel datasets, (3) present a flexible API to utilize expert information when available, and (4) efficiently accelerate training with distributed CPU, GPU, and TPU hardware. The code is open-source and available at: https://github.com/tensorflow/adanet.

研究の動機と目的

• 最小限のエキスパートの干渉で高品質な機械学習アンサンブルの構築を自動化すること。
• 生産環境でのデプロイメントおよびツール互換性を確保するため、TensorFlow エコシステムにシームレスに統合すること。
• 大規模なデータセット向けに、CPU、GPU、TPU における効率的でスケーラブルな分散トレーニングを可能にすること。
• 事前知識や事前学習済みモデルを用いた自動探索とエキスパート主導の探索を両方サポートすること。
• アンサンブル学習を通じてモデルのパフォーマンスと複雑さのバランスをとる、理論的根拠に基づいた適応的探索戦略を提供すること。

提案手法

• AdaNet は、並列（バギングに類似）および逐次的（ブースティングに類似）なアンサンブルを組み合わせた適応的探索戦略を用い、動的な探索空間を探索する。
• 各イテレーションで、前回イテレーションで最もパフォーマンスの良かったアンサンブルに基づいて、アーキテクチャを適応的に変更するサブネットワークジェネレータを採用する。
• 動的サブネットワーク生成と分散ワーカー間でのパラメータ共有を管理するため、適応的計算グラフを用いる。
• 2 種類の分散トレーニング戦略をサポートする：パラメータサーバーに基づくレプリケーションとラウンドロビンによるワーカー割り当て。これにより、サブネットワーク数に比例して線形にスケーラブルになる。
• 統合制御とチェックポイント管理のためのチーフワーカーを用い、障害発生後も障害に強く再開可能である。
• Serving、Hub、Model Analysis などの TensorFlow ツールとの互換性を確保するため tf.estimator と統合し、Keras API は現在開発中である。

実験結果

リサーチクエスチョン

• RQ1 自動化されたフレームワークは、分散ハードウェアにスケーラブルに拡張しつつ、人為的介入を最小限に抑え、高パフォーマンスなアンサンブルを学習できるか？
• RQ2 柔軟で拡張性のある AutoML システムは、アンサンブル学習においてモデルのパフォーマンスと複雑さのバランスをどのようにとれるか？
• RQ3 適応的で反復的なサブネットワーク探索は、実世界のタブル型およびビジョンデータセットにおいて、固定アンサンブルベースラインをどの程度上回れるか？
• RQ4 エキスパートの知識や事前学習済みモデルの統合は、自動アンサンブル学習のパフォーマンスと収束性にどのように影響するか？
• RQ5 分散トレーニングを想定したフレームワークは、サブネットワーク数およびワーカー数に比例して線形にスケーリング可能であり、障害耐性を維持できるか？

主な発見

• AdaNet は、100 以上のタブル型データセットのうち 40.56% で最高のモデルパフォーマンスを達成し、2 時間のトレーニング時間内に勾配ブースティングツリー（29.44%）や他のベースラインを上回った。
• CIFAR-100 では、NASNet-A サブネットワークを用いた AdaNet がテスト誤差率 14.58% を達成し、ビジョンタスクにおいても強力な性能を示した。
• ラウンドロビン分散トレーニング戦略により、カスタムアンサンブルインfra よりも高速かつスケーラブルなトレーニングが可能になり、システムの複雑さが軽減され、イテレーション速度が向上した。
• AdaNet は、生産環境でカスタムで複雑なアンサンブルシステムに置き換えられ、デプロイメントが簡素化されつつも、モデル品質は維持または向上した。
• チェックポイントベースの回復を用いて、ワーカーまたはクラスタの障害発生後も自動で回復する障害耐性を示した。
• 複雑さ正則化付きアンサンブル器の使用により、アンサンブル損失とモデル複雑さの間で理論的保証（Cortes 他, 2017）に整合した、原則的なトレードオフが実現された。