[論文レビュー] Few-Shot Natural Language Generation by Rewriting Templates

Mihir Kale, Abhinav Rastogi|arXiv (Cornell University)|Apr 30, 2020

Topic Modeling被引用数 13

ひとこと要約

この論文では、仮想アシスタントにおける多数のスロットにスケーラブルに拡張できるように、テンプレートの再書き換えを用いたFew-shot自然言語生成手法を提案する。単純なテンプレートと微調整された事前学習済み言語モデルを組み合わせることで、一貫性があり自然な発話生成を実現し、ベースライン手法と比較してはるかに少ない訓練例で優れた性能を達成する。

ABSTRACT

Virtual assistants such as Google Assistant, Alexa and Siri enable users to interact with a large number of services and APIs on the web using natural language. The response generation module converts the actions generated by a policy module into a natural language utterance. Traditionally, template based approaches have been used for response generation in virtual assistants. However, such approaches are not feasible for commercial assistants, which need to support a large number of services. Defining templates for a large number of slot combinations for each of the services supported by large scale assistants becomes tedious. In this work, we propose a template rewriting method for Natural Language Generation (NLG), where the number of templates scales only linearly with the number of slots. A set of simple templates is used to convert actions into utterances, which are concatenated to give a semantically correct, but possibly incoherent and ungrammatical utterance. A pre-trained language model is subsequently employed to rewrite it into coherent, natural sounding text. Through automatic metrics and human evaluation, we show that our method improves over strong baselines, while being much more sample efficient.

研究の動機と目的

• 数千のサービスをサポートする大規模な仮想アシスタントにおける、テンプレートベースの自然言語生成のスケーラビリティ課題に対処すること。
• 多数のサービスにおける各スロットの組み合わせごとにテンプレートを手動で定義する作業の負担を軽減すること。
• 事前学習済み言語モデルを活用して、不自然なテンプレート出力を流暢で自然な発話に再書き換えすることで、NLGにおけるFew-shot学習を可能にすること。
• 高い自然さと意味的正確性を維持しつつ、サンプル効率を向上させること。

提案手法

• 各アクションに対して、単純で再利用可能なテンプレートのセットを構築し、スロットを直接埋め込んで、意味的に正しいが一貫性のない発話の原形を生成する。
• 対話データで微調整された事前学習済み言語モデルに、その原形を入力として与え、流暢で自然な応答に再書き換えさせる。
• この手法はスロット数に対して線形にスケーリングされ、従来手法で見られる指数的増加を回避する。
• 再書き換えプロセスは、意図とスロット情報の保持を維持しつつ、文法的正しさと一貫性を向上させる。
• 微調整はFew-shot例を用いて実施され、新しいサービスやスロットの組み合わせへの迅速な適応を可能にする。

実験結果

リサーチクエスチョン

• RQ1 テンプレートベースのNLGシステムは、指数的増加を伴わずに多数のスロットの組み合わせに効率的にスケーリング可能か？
• RQ2 事前学習済み言語モデルは、最小限の監視情報で不自然なテンプレート出力を流暢で自然な発話に効果的に再書き換え可能か？
• RQ3 この手法のFew-shot性能は、自然さと意味的正確性の観点で強力なベースラインと比較してどの程度優れているか？
• RQ4 商業的仮想アシスタントにおける、膨大な量の手作業によるテンプレート作成の必要性は、どの程度低減されるか？

主な発見

• 自動評価および人的評価の両方の指標において、強力なベースラインと比較して、提案手法はより高い自然さと文法的正しさスコアを達成した。
• モデルは強力なFew-shot一般化性能を示し、ベースライン手法と比較してはるかに少ない訓練例を必要とした。
• アプローチはスロット数に対して線形にスケーリングされ、多様なサービス統合を有する大規模な仮想アシスタントにおいて実用的であることが示された。
• 人的評価により、再書き換え済み発話がテンプレートのみまたはベースラインニューラル手法よりも自然で一貫性があると認識されていることが確認された。