[論文レビュー] Fine-Grained Sentence Functions for Short-Text Conversation

Wei Bi, Jun Gao+2 more|arXiv (Cornell University)|Jul 24, 2019

Topic Modeling参考文献 20被引用数 4

ひとこと要約

本稿では、2段階の細分化された文機能ラベル（20種類）を備えた大規模な短文会話データセット STC-Sefun を紹介する。このデータセットにより、対話システムにおける応答生成の質が向上する。文機能を予測する分類器を訓練し、検索型および生成型モデルに統合することで、応答の関連性、情報量、文の自然さが顕著に向上することを実証した。再順序付けされた検索型モデルは、ベースラインと生成型モデルを上回る主要指標での成績を示した。

ABSTRACT

Sentence function is an important linguistic feature referring to a user's purpose in uttering a specific sentence. The use of sentence function has shown promising results to improve the performance of conversation models. However, there is no large conversation dataset annotated with sentence functions. In this work, we collect a new Short-Text Conversation dataset with manually annotated SEntence FUNctions (STC-Sefun). Classification models are trained on this dataset to (i) recognize the sentence function of new data in a large corpus of short-text conversations; (ii) estimate a proper sentence function of the response given a test query. We later train conversation models conditioned on the sentence functions, including information retrieval-based and neural generative models. Experimental results demonstrate that the use of sentence functions can help improve the quality of the returned responses.

研究の動機と目的

• 文機能ラベルが付与された大規模で手作業でアノテートされた短文会話データセットの不足に対処すること。
• 入力発話における文機能を特定し、与えられたクエリに対して適切な応答文機能を予測するための信頼性の高い文機能分類モデルを開発すること。
• 文機能の統合が検索ベースおよびニューラル生成対話モデルにおける応答品質にどのように寄与するかを調査すること。
• 複数の対話システムアーキテクチャにおいて、文機能モデリングが応答の関連性、情報量、文の自然さ、正確性に与える影響を評価すること。

提案手法

• 短文会話の 10,000 組のクエリ-応答ペアを、4 種類の粗いレベル（疑問文、陳述文、命令文、感嘆文）および 20 種類の細分化されたサブタイプ（例：Wh スタイル疑問文、Yes-no 疑問文）の2段階の文機能ラベルでアノテートする。
• 2 種類の別個の文機能分類モデルを訓練する：1 つは未ラベルデータにおける文機能分類を、もう 1 つはクエリを入力として与えられた際の応答文機能を予測する。
• 訓練済みの分類器を用いて大規模な自動アノテーションコーパスを構築し、大規模な対話モデルの訓練と評価を可能にする。
• Jaccard類似度と予測されたターゲット文機能との整合性を組み合わせたハイブリッドスコアを用いて、候補応答の再順序付けを行うことで、検索型モデルを強化する。
• シーケンス・トゥ・シーケンスおよび CVAE ベースの生成型モデルを、文機能埋め込みを条件として用いることで拡張する。SeFun-CVAE では、潜在空間における文機能情報の明示的分離を図るため、タイプ識別器を追加する。
• 標準指標（自然さ、関連性、情報量、予測された文機能の正確性）を用いてモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 細分化された文機能ラベルは、短文会話システムにおける応答品質を向上させることができるか？
• RQ2 大規模な短文会話コーパスにおいて、入力クエリおよび潜在的応答の文機能をどれほど正確に予測できるか？
• RQ3 予測された文機能を検索型および生成型対話モデルに条件付けた場合、応答の関連性および情報量はどの程度向上するか？
• RQ4 応答品質および正確性という観点から、検索型モデルと生成型モデルのどちらが文機能情報の統合によりより大きな利益を得られるか？

主な発見

• 再順序付けされた検索型モデルは、自然さ 69.6%、関連性 74.4%、情報量 77.2%、ターゲット文機能予測の正確性 50.5% を達成し、検索型ベースライン（63.4%、68.4%、61.5%、34.3%）を顕著に上回った。
• 生成型モデルにおいては、C-Seq2seq が全体として最高のパフォーマンスを示し、関連性 58.9%、レベル2文機能の正確性 37.2% を達成し、Seq2seq ベースラインおよび他の変種を上回った。
• タイプ識別器を備えた SeFun-CVAE は、ベースラインの KgCVAE（33.7%）よりも高い文機能正確性（36.7%）を達成し、潜在空間における文機能情報の明示的分離の有効性を示した。
• 自然さと関連性スコアが低くても、最高の生成型モデル（SeFun-CVAE および C-Seq2seq）は、検索型ベースラインを文機能正確性で上回った。これは、文機能に条件づけることで、応答タイプの制御が向上することを示している。
• 再順序付けされた検索型モデルは、すべての指標ですべての生成型モデルを一貫して上回った。これは、短文会話において、文機能統合が検索型フレームワークにおいてより効果的であることを示唆している。
• 事例研究により、再順序付けされた検索型モデルは、クエリとの語の重複が少なくても、ターゲット文機能との整合性を高めることで、より一貫性があり機能的に適切な応答を生成することが確認された。