[論文レビュー] PyGlove: Symbolic Programming for Automated Machine Learning

Daiyi Peng, Xuanyi Dong+8 more|arXiv (Cornell University)|Jan 21, 2021

Machine Learning and Data Classification被引用数 7

ひとこと要約

PyGlove は自動機械学習（AutoML）のための記号的プログラミングパラダイムを導入し、検索空間、検索アルゴリズム、および子モデルを分離することで、変更可能で操作可能なMLプログラムを可能にします。モデルを記号的対象として扱うことで、動的なプログラム変換が可能になり、複雑な検索フローとアーキテクチャ・ハイパーパramータの迅速な反復が容易になります。ImageNet および NAS-Bench-101 での実証により、検索の効率性と柔軟性が向上しています。

ABSTRACT

Neural networks are sensitive to hyper-parameter and architecture choices. Automated Machine Learning (AutoML) is a promising paradigm for automating these choices. Current ML software libraries, however, are quite limited in handling the dynamic interactions among the components of AutoML. For example, efficientNAS algorithms, such as ENAS and DARTS, typically require an implementation coupling between the search space and search algorithm, the two key components in AutoML. Furthermore, implementing a complex search flow, such as searching architectures within a loop of searching hardware configurations, is difficult. To summarize, changing the search space, search algorithm, or search flow in current ML libraries usually requires a significant change in the program logic. In this paper, we introduce a new way of programming AutoML based on symbolic programming. Under this paradigm, ML programs are mutable, thus can be manipulated easily by another program. As a result, AutoML can be reformulated as an automated process of symbolic manipulation. With this formulation, we decouple the triangle of the search algorithm, the search space and the child program. This decoupling makes it easy to change the search space and search algorithm (without and with weight sharing), as well as to add search capabilities to existing code and implement complex search flows. We then introduce PyGlove, a new Python library that implements this paradigm. Through case studies on ImageNet and NAS-Bench-101, we show that with PyGlove users can easily convert a static program into a search space, quickly iterate on the search spaces and search algorithms, and craft complex search flows to achieve better results.

研究の動機と目的

• 既存の AutoML ライブラリにおける検索空間、検索アルゴリズム、およびモデル実装の強い結合を解消し、柔軟な実験を妨げる要因を解消すること。
• 検索中に ML プログラムを動的に変更できるようにし、モデルを不変のコードではなく、変更可能な記号的対象として扱うこと。
• メタプログラミングを記号的表現上で可能にすることで、ネストされたまたは要因分解された検索といった複雑な検索フローをサポートすること。
• AutoML を既存の ML パイプラインに統合する障壁を下げるために、プラグアンドプレイの検索機能を提供すること。
• ImageNet や NAS-Bench-101 といった実世界の AutoML ベンチマークで、記号的プログラミングの実用的利点を実証すること。

提案手法

• Python のクラスや関数に注釈を付けることで、実行時におけるクローン作成や変更が可能な記号的プログラミングモデルを導入。
• 記号的再バインド（例：`rebind` メソッド）を用いて、カーネルサイズ、拡張比、フィルタ数などのハイパーパramータを変更することで、静的モデルを検索空間に変換。
• 検索空間、アルゴリズム、子モデル間の相互作用を調整するメタプログラムを採用し、検索ロジックの動的適応を可能に。
• 高階のサンプリング構造（例：`pg.sample`）を用いて、ネストされたまたは段階的な検索戦略を可能にすることで、複雑な検索フローをサポート。
• 子モデルを記号的に変換することで、重み共有とスーパーネットの構築を可能にし、微分可能な検索空間に変換。
• 既存の ML コードとのシームレスな統合を可能にするために、Python で記号的プログラミングプリミティブを公開するライブラリ、PyGlove を提供。

実験結果

リサーチクエスチョン

• RQ1 検索空間、検索アルゴリズム、および子モデルをどのように分離すれば、それぞれを独立して変更・実験できるようになるか？
• RQ2 記号的プログラミングは、NAS における要因分解型またはハイブリッド検索のような効率的で合成可能な検索フローを可能にするか？
• RQ3 記号的操作は、既存の ML パイプラインへの AutoML 統合をどの程度簡素化できるか？
• RQ4 記号的プログラミングは、検索空間やアルゴリズムの反復における柔軟性と速度をどの程度向上させるか？
• RQ5 記号的操作によって可能になる複雑な検索フローは、実世界のベンチマークでどの程度のパフォーマンス向上をもたらすか？

主な発見

• PyGlove を用いることで、静的モデルである MobileNetV2 を、カーネルサイズ、拡張比、チャネル幅のチューニングが可能な検索空間に変換可能。
• ノードとエッジの検索を段階的に分離することで、要因分解型やハイブリッド検索といった複雑な検索フローをサポート。これにより、検索効率が向上。
• NAS-Bench-101 において、PyGlove のハイブリッド検索はトップ-1精度 94.8% を達成し、標準的な検索を上回り、アーキテクチャ空間のより良い探索が可能に。
• 記号的アプローチにより、重み共有と非重み共有の検索アルゴリズムを切り替える際の膨大なコードリファクタリングの必要性が削減された。
• ユーザーは、コアプログラム論理を変更せずに、記号的表現を変更するだけで、新しい検索空間やアルゴリズムを迅速にプロトタイプ化・テスト可能。
• フレームワークは、既存のトレーニングパイプラインへのシームレスな統合を実証し、既存のモデルに最小限の変更で AutoML 機能を追加可能。