[論文レビュー] TripPy: A Triple Copy Strategy for Value Independent Neural Dialog State Tracking

Michael Heck, Carel van Niekerk+5 more|arXiv (Cornell University)|May 6, 2020

Topic Modeling被引用数 16

ひとこと要約

TripPyは、事前に定義された候補リストに依存せずに、値を抽出・伝搬するための3つのコピーメカニズム（スパン予測、システム情報メモリ、対話状態メモリ）を用いた値独立型ニューラル対話状態追跡モデルを提案する。MultiWOZ 2.1において55.3%のジョイントゴール精度（SOTA）を達成し、未知語やレアな値に対しても優れた一般化性能を示した。

ABSTRACT

Task-oriented dialog systems rely on dialog state tracking (DST) to monitor the user's goal during the course of an interaction. Multi-domain and open-vocabulary settings complicate the task considerably and demand scalable solutions. In this paper we present a new approach to DST which makes use of various copy mechanisms to fill slots with values. Our model has no need to maintain a list of candidate values. Instead, all values are extracted from the dialog context on-the-fly. A slot is filled by one of three copy mechanisms: (1) Span prediction may extract values directly from the user input; (2) a value may be copied from a system inform memory that keeps track of the system's inform operations; (3) a value may be copied over from a different slot that is already contained in the dialog state to resolve coreferences within and across domains. Our approach combines the advantages of span-based slot filling methods with memory methods to avoid the use of value picklists altogether. We argue that our strategy simplifies the DST task while at the same time achieving state of the art performance on various popular evaluation sets including Multiwoz 2.1, where we achieve a joint goal accuracy beyond 55%.

研究の動機と目的

• マルチドメイン・オープンボキャブラリー設定における固定オントロジー型および候補リスト依存型 DST の限界を解消すること。
• スパンベース手法が自然対話における共参照、値共有、暗黙の選択を処理できないという問題を克服すること。
• システムおよび対話状態の値を動的に維持・活用するメモリを備えたスケーラブルで値に依存しない DST モデルの開発。
• トレーニング時に事前に露出されていなくても、未知語（OOV）およびまれな値への一般化を向上させること。
• 進化するオントロジーを伴う動的で現実的な対話システムをサポートするエンドツーエンドの値独立型追跡を実現すること。

提案手法

• ユーザー発話から開始トークンと終了トークンの予測により、値をそのままで抽出するスパン予測メカニズムを採用する。
• システムが明示的に述べた値（例：推薦）を格納するシステム情報メモリを維持し、暗黙的に選択された値のコピーや処理を可能にする。
• 対話状態（DS）メモリを用いて、すでに対話状態に存在する値を格納・取得し、複数ドメインに跨る共参照や値共有の解決を可能にする。
• スパン、システムメモリ、DSメモリの3つのコピーメカニズムを統合した、クロスアテンションを備えた統一されたトランスフォーマー基盤のエンコーダデコーダアーキテクチャに統合する。
• スパン予測ヘッドとメモリの読み書き操作を備えた、シーケンス・トゥ・シーケンス学習に基づくエンドツーエンドの学習を実施する。
• 文脈表現（例：BERT）を用いて対話履歴を符号化し、語彙的変化や言い換えに強く、より高い耐性を発揮する。

実験結果

リサーチクエスチョン

• RQ1 候補リストに依存せずに、値独立型 DST モデルが未知語（OOV）の値に対して効果的に一般化できるか？
• RQ2 明示的な値の監視なしに、メモリアーキテクチャを備えたモデルが、ドメイン跨ぎの共参照および値共有をどれほど効果的に解消できるか？
• RQ3 システム情報メモリの導入により、『それらのどれでもよい』などの暗黙の選択に対する性能が向上するか？
• RQ4 珍しいまたは未観測の値に対して、モデルの性能はどの程度低下するか？また、最小限のトレーニング例での高リCALLを維持できるか？
• RQ5 スパンのみまたはメモリのみのベースラインと比較して、3重コピーメカニズムは、ジョイントゴール精度およびOOV一般化の観点でどの程度優れているか？

主な発見

• TripPyは、MultiWOZ 2.1で55.3%のジョイントゴール精度を達成し、値独立型 DST における新たなSOTAを樹立した。
• OOV値に対しても高い性能を維持しており、変更されたテストセットでは84%のテスト値がOOVであったが、ほとんどのスロットで性能低下はわずかであった。
• 名前付きエンティティスロット（通常、OOV率が高い）に対しても強い性能を維持しており、意味的変化やレアエンティティに対しても耐性があることが示された。
• 1値あたりたった50件のトレーニング例でも、効果的なデータ利用が可能で、一般化性能が優れている。
• スパン予測ベースラインはOOV値に対して著しく劣化するが、TripPyのメモリアーキテクチャを備えたメカニズムにより、珍しいおよび未観測の値に対しても一貫したリCALLが達成された。
• 対話履歴長を最大化すると、MultiWOZで1%の絶対的性能向上が得られ、複雑な対話において長文脈モデリングの重要性が浮き彫りになった。