[論文レビュー] Building Markovian Generative Architectures over Pretrained LM Backbones for Efficient Task-Oriented Dialog Systems

Hong Liu, Yucheng Cai+3 more|arXiv (Cornell University)|Apr 13, 2022

Speech and dialogue systems被引用数 5

ひとこと要約

本稿では、GPT2 や T5 などの事前学習済み言語モデル（PLM）バックボーンを用いた、効率的なタスク指向対話システムのためのマルコフ生成アーキテクチャ（MGA）を提案する。MGA は、生成を現在のユーザー発話と直前の対話状態（マルコフ状態）にのみ条件づけることで、メモリおよび計算コストを削減しながらも、性能を維持する。豊富なリソース環境および限られたリソース環境の両方で、MGA は非マルコフベースラインを同等または上回る訓練効率と性能を達成しており、特にデータが不足する状況下で顕著である。

ABSTRACT

Recently, Transformer based pretrained language models (PLMs), such as GPT2 and T5, have been leveraged to build generative task-oriented dialog (TOD) systems. A drawback of existing PLM-based models is their non-Markov architectures across turns, i.e., the whole history is used as the conditioning input at each turn. First, this brings inefficiencies in memory and computation. Furthermore, using the whole history increases model complexity and may hurt the training efficiency, especially when facing small amounts of labeled training data (the low-resource setting). In this paper, motivated by the observation that dialog states could be viewed as Markov states, we propose to build Markovian Generative Architectures (MGA) over PLM backbones for efficient TOD systems. Experiments on MultiWOZ2.1 show that in the rich-resource setting, the proposed Markov models reduce memory and time costs without performance degradation; in the low-resource setting, the training efficiency of the Markov models is more significant.

研究の動機と目的

• PLMに基づくタスク指向対話システムにおける非マルコフアーキテクチャに起因するメモリ、計算、訓練の非効率性を是正すること。
• 対話状態をマルコフ状態としてモデル化することで、より少ないコンテキストで効率的かつ効果的な生成が可能かどうかを調査すること。
• 特にラベル付きデータが限られるリソースが限られた環境において、訓練効率を向上させること。
• 対話状態が履歴の要約としての役割を果たし、効果的な応答生成に十分なマルコフ状態として機能しうることを検証すること。
• モデルの複雑さを低減しつつも、強力な性能を維持できるスケーラブルで効率的なアーキテクチャの開発を目的とする。

提案手法

• 現在のユーザー発話と直前の対話状態にのみ応答生成を条件づけるマルコフ生成アーキテクチャ（MGA）を提案する。これは、全対話履歴ではなく、最小限のコンテキスト（user_utterance, previous_dialog_state, previous_system_response）に基づいて生成を行う。
• GPT2 や T5 といった事前学習済み言語モデル（PLM）をバックボーンとして用い、これらのモデルを微調整して、（user_utterance, previous_dialog_state, previous_system_response）という最小限のコンテキストに基づき、システム応答を生成するようにする。
• 対話状態を履歴の要約としてのコンパクトな蓄積的要約として定義し、マルコフ決定過程におけるマルコフ性と整合させる。
• モデルが直近の対話状態と現在の入力にのみ注目するようにアーキテクチャを実装し、冗長な履歴のターンにわたる注目を削減する。
• 変分学習を用いて未ラベルデータを活用するため、教師ありのみおよび半教師ありの両設定でモデルを訓練する。
• MGA を、全履歴を条件入力として使用する非マルコフベースライン（例：UBAR, MTTOD）と比較する。

実験結果

リサーチクエスチョン

• RQ1 豊富なリソース環境下で、MGA モデルは非マルコフ PLM ベースのモデルと同等の性能を達成できるか？
• RQ2 リソースが限られた環境下で、MGA モデルは非マルコフモデルに比べて訓練効率が優れているか？
• RQ3 最も最近の対話状態のみをコンテキストとして使用しても、応答生成に必要な十分な情報が保持されているか？
• RQ4 MGA における注目パターンは、非マルコフモデルとどのように異なるか？また、それらはより効率的な情報フローを反映しているか？
• RQ5 MGA は、教師ありおよび半教師ありの学習シナリオにおいて、サンプル効率を向上させることができるか？

主な発見

• 豊富なリソース環境下で、MGA-GPT2 および MGA-T5 は、厳密な有意性検定を経ても、SOTA の非マルコフモデル（UBAR および MTTOD）と同等の性能を達成した。
• MGA モデルは、非マルコフベースラインと比較して、性能に劣化を来さずに、メモリおよび計算コストを顕著に削減した。
• リソースが限られた環境（ラベル付きデータが 10% および 20% の場合）において、MGA は、教師ありのみおよび半教師ありの両訓練タスクにおいて、一貫して非マルコフモデルを上回った。
• 注目可視化の結果、MGA-GPT2 は b₄ を生成する際、最も最近の対話状態（b₃）に注目しているのに対し、UBAR などの非マルコフモデルは、冗長な履歴のすべての対話状態に散らばって注目していることがわかった。
• MGA の注目パターンは、現在の対話状態が、以前の対話状態を暗黙的に捉え込んでいることを示しており、実際の運用においてマルコフ仮定が正当化されていることを裏付けた。
• 訓練効率の向上は、リソースが限られた状況下でより顕著であり、MGA が優れたサンプル効率を示していることを示した。