[論文レビュー] dFlow: A Domain Specific Language for the Rapid Development of open-source Virtual Assistants

Nikolaos Malamas, Konstantinos Panayiotou+1 more|arXiv (Cornell University)|Oct 3, 2023

AI in Service Interactions被引用数 5

ひとこと要約

dFlow は、フレームワークに依存しないテキストベースのアプローチを用いて、オープンソースのバーチャルアシスタント（VA）の低コード開発を可能にするドメイン固有言語（DSL）である。システムに依存しないメタモデルと、Discord 上のクラウドネイティブアーキテクチャに統合された dFlow は、NLP の専門知識が限られた開発者でも、Rasa を用いて迅速にタスク固有の VA を設計・テスト・デプロイできる。大規模な評価において、初心者開発者間での使いやすさが高く評価された。

ABSTRACT

An increasing number of models and frameworks for Virtual Assistant (VA) development exist nowadays, following the progress in the Natural Language Processing (NLP) and Natural Language Understanding (NLU) fields. Regardless of their performance, popularity, and ease of use, these frameworks require at least basic expertise in NLP and software engineering, even for simple and repetitive processes, limiting their use only to the domain and programming experts. However, since the current state of practice of VA development is a straightforward process, Model-Driven Engineering approaches can be utilized to achieve automation and rapid development in a more convenient manner. To this end, we present extit{dFlow}, a textual Domain-Specific Language (DSL) that offers a simplified, reusable, and framework-agnostic language for creating task-specific VAs in a low-code manner. We describe a system-agnostic VA meta-model, the developed grammar, and all essential processes for developing and deploying smart VAs. For further convenience, we create a cloud-native architecture and expose it through the Discord platform. We conducted a large-scale empirical evaluation with more than 200 junior software developers and collected positive feedback, indicating that dFlow can accelerate the entire VA development process, while also enabling citizen and software developers with minimum experience to participate.

研究の動機と目的

• 複雑な NLP やソフトウェア工学の要件が原因で、バーチャルアシスタント（VA）開発の入り口が高いという課題に対処すること。
• 分野知識が限られた市民開発者や初心者プログラマーが、NLP やソフトウェア工学の深い専門知識がなくても、タスク固有の VA を作成できるようにすること。
• ベンダーおよびフレームワークに依存しないソリューションを提供し、ロックインを回避するとともに、進化するオープンソース NLP フレームワークへの拡張性を確保すること。
• テキスト型 DSL と自動デプロイパイプラインを用いたモデル駆動開発（MDE）により、VA 開発を加速すること。
• 非専門家参加者を対象とした実世界の環境での dFlow DSL の使いやすさと有効性を評価すること。

提案手法

• 下位のフレームワークに依存しない、VA のコアコンponents を抽象化するシステムに依存しないバーチャルアシスタントメタモデルの設計。
• 人間が読みやすく再利用可能な形式で、意図（intents）、エンティティ（entities）、トレーニング例、対話フローを指定するテキスト型 DSL 語法の定義。
• オープンソースの Rasa フレームワークを用いて、dFlow モデルを Rasa 互換の設定に変換するジェネレータコンponent の実装。
• dFlow システムをホスティングするクラウドネイティブアーキテクチャの設計とデプロイ。Discord プラットフォームを通じて、モデルの自動生成とデプロイを実現。
• モデル検証、テスト、デプロイを含むエンドツーエンドのプロセス統合により、シームレスな開発ワークフローを支援。
• メタモデル、DSL 語法、コードジェネレータが分離され、組み合わせ可能なモデル駆動開発（MDE）パイプラインの採用。

実験結果

リサーチクエスチョン

• RQ1 RQ1: テキスト型 DSL は、非専門家開発者によるタスク固有のバーチャルアシスタント作成における開発作業量と学習曲線を顕著に低減できるか？
• RQ2 RQ2: dFlow DSL はどの程度フレームワークおよびシステムに依存しない設計となっており、将来の代替 NLP フレームワークやデプロイ環境への拡張性を確保できるか？
• RQ3 RQ3: dFlow は、プログラミングや NLP の知識が限られた市民開発者が、実際に機能する VA を設計・デプロイするのをどの程度効果的に支援できるか？
• RQ4 RQ4: 伝統的な VA 開発ワークフローと比較して、dFlow は使いやすさと生産性の向上をどの程度実現しているか？
• RQ5 RQ5: dFlow は、マルチターン対話、条件分岐、外部サービス連携といった高度な機能を拡張してサポートできるか？

主な発見

• 219名の参加者の中から、ほとんど全員が、基本的なプログラミングスキルと NLP や VA 開発分野の知識が限定的であったにもかかわらず、dFlow を用いてバーチャルアシスタントを正常に設計・デプロイできた。
• 参加者たちは、dFlow が学びやすく、理解や適用に困難を感じにくく、入り口の障壁が低いと報告した。
• 実際の現場で dFlow DSL は高い使いやすさを示し、NLP やソフトウェア工学の深い専門知識がなくても、VA の迅速な開発・デプロイが可能となった。
• dFlow メタモデルのフレームワークに依存しない設計により、長期的な保守性が確保されており、Rasa の新バージョンや代替フレームワークに対応するには、ジェネレータを更新するだけでよく、コアの DSL やメタモデルを変更する必要がない。
• Discord 上のクラウドネイティブアーキテクチャにより、シームレスでリアルタイムのテストとデプロイが可能になり、開発体験が向上し、セットアップの負担が軽減された。
• 本研究では、dFlow が手動コーディングと分野特有の技術的要件を顕著に低減し、市民開発者の VA 作成への参加を広く可能にしていることが確認された。