[論文レビュー] DELTA: A DEep learning based Language Technology plAtform

Kun Han, Junwen Chen+21 more|arXiv (Cornell University)|Aug 2, 2019

Natural Language Processing Techniques参考文献 28被引用数 6

ひとこと要約

DELTA は自然言語および音声処理のためのエンドツーエンドでオープンソースのディープラーニングプラットフォームであり、モデルのトレーニング、デプロイメント、開発をシームレスにサポートする。最先端のニューラルモデルを統合し、マルチモーダル入力をサポートし、統一された I/O インターフェースと最適化されたサービングパイプラインにより生産環境向け推論を可能にし、ベンチマークタスクにおいて SOTA ベースラインと同等のパフォーマンスを達成する。

ABSTRACT

In this paper we present DELTA, a deep learning based language technology platform. DELTA is an end-to-end platform designed to solve industry level natural language and speech processing problems. It integrates most popular neural network models for training as well as comprehensive deployment tools for production. DELTA aims to provide easy and fast experiences for using, deploying, and developing natural language processing and speech models for both academia and industry use cases. We demonstrate the reliable performance with DELTA on several natural language processing and speech tasks, including text classification, named entity recognition, natural language inference, speech recognition, speaker verification, etc. DELTA has been used for developing several state-of-the-art algorithms for publications and delivering real production to serve millions of users.

研究の動機と目的

• 既存のオープンソースライブラリが研究を重視する一方で、モデルサービングやスケーラビリティに欠けるというギャップを埋めるため。
• NLP および音声処理タスクを一貫したインターフェースでサポートする、統一的でモジュール化され拡張可能なフレームワークを提供するため。
• データ処理および特徴抽出が両フェーズで同一であることを保証することで、モデルトレーニングから生産環境デプロイメントへの移行を簡素化するため。
• 研究者およびエンジニアが標準化された、組み合わせ可能なコンポONENTを用いて、簡単にモデルをカスタマイズし、トレーニングおよびデプロイメントできるようにするため。
• テキスト、音声、数値特徴を含むマルチモーダル学習をサポートし、実世界の産業応用への適用性を高めるため。

提案手法

• DELTA は TensorFlow に基づき構築されており、すべてのデータ前処理および特徴抽出を TensorFlow 操作（OP）として公開し、推論グラフへのシームレスな統合を可能にしている。
• プラットフォームはモジュラーなアーキテクチャを採用しており、モデルとコンポonentsが分離されているため、開発者は既存のモジュールを組み合わせて新しいモデルを構築できる。
• 単一のコマンドラインインターフェースによりエンドツーエンドトレーニングが可能で、モデルアーキテクチャおよびハイパーパramータに対して高度にカスタマイズ可能な設定が可能である。
• モデルサービングは標準化された I/O インターフェースを介して実現され、生産環境にデプロイされたモデルがトレーニング時と同一の挙動を示すことを保証している。
• DELTA は、モデル変換（例：TFLite やフローズングラフへの変換）、さまざまなデバイス（CPU、GPU、モバイル）向けのコンパイル、CI/CD への Docker 組み込みを含む、自動化されたパイプラインステップを備えている。
• プラットフォームは TensorFlow XLA および AOT コンパイルを活用し、クラウド、モバイル、組み込みプラットフォームを問わず推論パフォーマンスを最適化している。

実験結果

リサーチクエスチョン

• RQ1 NLP および音声アプリケーションのトレーニング、デプロイメント、開発ワークフローを統合するためのディープラーニングプラットフォームは、どのように設計できるか？
• RQ2 モジュラーかつ組み合わせ可能なフレームワークは、最先端のモデルと同等のパフォーマンスを維持しつつ、迅速なプロトタイピングと生産化を可能にするか？
• RQ3 トレーニングフェーズとサービングフェーズで同一の I/O および前処理インターフェースを提供することで、差異が生じずデプロイメントが簡素化されるか？
• RQ4 テキスト、音声、数値特徴を含む異種の入力特徴を統合したマルチモーダル学習を、このプラットフォームはどの程度効果的にサポートできるか？
• RQ5 標準化された設定と公開ベンチマークを用いることで、どの程度のパフォーマンスと再現性が達成できるか？

主な発見

• DELTA は、TREC テキスト分類（92.2% の正確度、ベースライン 91.2%）および CoNLL2003 NER（BERT を用いて 94.6% の F1 スコア）といった複数の NLP ベンチマークで、発表済みの SOTA モデルと同等のパフォーマンスを達成した。
• プラットフォームは優れた再現性を示しており、egs/ ディレクトリ内の提供済みの設定ファイルおよびデータ処理スクリプトを用いることで、ユーザーがベンチマーク結果を再現できる。
• 系列ラベル付けタスクにおいて、DELTA の BLSTM-CRF モデルは CoNLL2003 NER で 84.6% の F1 スコアを達成し、元の研究で報告された 84.7% と非常に近い結果となった。
• ATIS における意図検出では、DELTA のモデルが 97.4% の正確度に達したが、ベースラインの 98.2% よりわずかに低いが、再実装として妥当な範囲内であった。
• プラットフォームはマルチモーダルトレーニングおよびデプロイメントを成功裏にサポートしており、トレーニングとサービングパイプライン間で挙動が一貫しており、デプロイメントの複雑さが低減された。
• DELTA は並列処理されたデータ処理とモデルトレーニングにより、大規模データセットにおける迅速な反復を可能にする、効率的な大規模トレーニングを実現した。