[論文レビュー] Ludwig: a type-based declarative deep learning toolbox

Piero Molino, Y. O. Dudin+1 more|arXiv (Cornell University)|Sep 17, 2019

Topic Modeling参考文献 23被引用数 28

ひとこと要約

Ludwigは、データ型に配慮した設定ファイルを用いてコードを書かずにモデルを訓練・デプロイできる、型ベースで宣言的なディスカッション学習ツールボックスである。ECD（エンコーダ・コンビナリアンス・デコーダ）アーキテクチャを用い、入力・出力のデータ型によって抽象化することで、柔軟で再利用可能かつ拡張可能なモデル設計を実現し、初心者から専門家までをサポートする。

ABSTRACT

In this work we present Ludwig, a flexible, extensible and easy to use toolbox which allows users to train deep learning models and use them for obtaining predictions without writing code. Ludwig implements a novel approach to deep learning model building based on two main abstractions: data types and declarative configuration files. The data type abstraction allows for easier code and sub-model reuse, and the standardized interfaces imposed by this abstraction allow for encapsulation and make the code easy to extend. Declarative model definition configuration files enable inexperienced users to obtain effective models and increase the productivity of expert users. Alongside these two innovations, Ludwig introduces a general modularized deep learning architecture called Encoder-Combiner-Decoder that can be instantiated to perform a vast amount of machine learning tasks. These innovations make it possible for engineers, scientists from other fields and, in general, a much broader audience to adopt deep learning models for their tasks, concretely helping in its democratization.

研究の動機と目的

• 非エキスパートがコードを書かずにモデルを訓練・デプロイできるようにすることで、ディスカッション学習の民主化を図ること。
• ディスカッション学習モデル開発における複雑さとボイラープレートを軽減するため、宣言的で型ベースの抽象化を導入すること。
• データ型とモデルコンポONENTの標準化インターフェースを通じて、コードの再利用性と拡張性を向上させること。
• ベストプラクティスをモジュール型で組み合わせ可能なアーキテクチャに封入することで、実験とモデル開発の簡素化を図ること。
• 宣言的設定によるワークフローで初心者をサポートするとともに、低レベルのカスタマイズが可能な柔軟性を備えたエキスパートにも対応すること。

提案手法

• Ludwigは、データ型（例：画像、テキスト、カテゴリ）がモデルコンポonentのインターフェースと挙動を定義する型ベースの抽象化を導入する。
• 一般化されたモジュラーなアーキテクチャとして、エンコーダ・コンビナリアンス・デコーダ（ECD）を採用し、データのエンコード、表現の結合、予測のデコードを分離する。
• モデルの設定は、入力・出力の特徴、それらのデータ型、およびコンポonentの選択（例：画像用の異なるエンコーダ）を指定する宣言的YAMLファイルによって行う。
• システムは、設定に基づいて自動的にデータ前処理、モデルアーキテクチャのインスタンス化、トレーニングを実行し、低レベルのテンソル操作を抽象化する。
• エンコーダーやデコーダーを設定可能なハイパーパrameterとして扱うことで、ハイパーパramーターサーチとアーキテクチャーサーチの両方を可能にし、モデル構造の自動探索を実現する。
• TensorFlow上に構築されており、カスタムサブモジュールを用いた拡張性を備え、エキスパートが新しいコンポonentを統合しつつも、宣言的でシンプルなインターフェースを維持できる。

実験結果

リサーチクエスチョン

• RQ1 宣言的で型ベースのディスカッション学習モデル定義アプローチが、非エキスパートの参入障壁を顕著に低減できるか？
• RQ2 標準化されたECDアーキテクチャが、画像分類、テキスト分類、回帰など多様な機械学習タスクに一般化して適応できるか？
• RQ3 型ベースの抽象化が、ディスカッション学習モデル開発におけるコードの再利用性、モジュラリティ、拡張性をどの程度向上させるか？
• RQ4 自動前処理とトレーニングパイプラインを備えた宣言的設定が、パフォーマンスを維持しつつも、モデル実験の簡素化を実現できるか？
• RQ5 実際の利用において、設定オンativeのワークフローで初心者をサポートするとともに、拡張可能でカスタマイズ可能なコンポonentを備えたエキスパートにも十分対応できるか？

主な発見

• Ludwigは、データ型に基づいた宣言的設定ファイルのみを用いて、コードを書かずにディスカッション学習モデルの訓練と推論を可能にする。
• ECDアーキテクチャにより、画像分類やテキスト分類といった多様なタスクにおいて、共通のパターンを再利用可能なコンポonentに抽象化することで、一貫性があり組み合わせ可能なモデル設計が実現される。
• 型ベースの抽象化により、コンポonentがデータ型インターフェースに基づいてカプセル化され、相互に交換可能となるため、コードの再利用性と拡張性が向上する。
• エンコーダーやデコーダーを設定可能なパラメータとして扱うことで、ハイパーパラメーターサーチとアーキテクチャーサーチの境界を曖昧にし、モデル構造の自動探索を可能にする。
• Ludwigの宣言的インターフェースにより、エキスパートの生産性が向上し、ボイラープレートの削減と、さまざまなモデル構成での迅速な実験が可能になる。
• このツールボックスは拡張可能であり、TensorFlowなどの既存のディスカッション学習フレームワークと統合可能で、カスタムコンポonentの統合が可能である一方で、高水準で使いやすいインターフェースを維持している。