[論文レビュー] Span-ConveRT: Few-shot Span Extraction for Dialog with Pretrained Conversational Representations

Sam Coope, Tyler Farghly+3 more|arXiv (Cornell University)|Jan 1, 2020

Topic Modeling参考文献 36被引用数 4

ひとこと要約

Span-ConveRT は、ConveRT から得た事前学習済み会話表現を活用することで、少データ学習の状況でも一貫した性能向上を達成する、軽量でターンベースのスパン抽出モデルを提案する。これは、BERTベースのスパン抽出器や、初期から微調整したモデルよりも優れている。特にリソースが限られたデータに対して顕著であり、実世界のレストラン予約会話から収集されたベンチマーク用の RESTAURANTS-8K データセットを導入する。

ABSTRACT

We introduce Span-ConveRT, a light-weight model for dialog slot-filling which frames the task as a turn-based span extraction task. This formulation allows for a simple integration of conversational knowledge coded in large pretrained conversational models such as ConveRT (Henderson et al., 2019). We show that leveraging such knowledge in Span-ConveRT is especially useful for few-shot learning scenarios: we report consistent gains over 1) a span extractor that trains representations from scratch in the target domain, and 2) a BERT-based span extractor. In order to inspire more work on span extraction for the slot-filling task, we also release RESTAURANTS-8K, a new challenging data set of 8,198 utterances, compiled from actual conversations in the restaurant booking domain.

研究の動機と目的

• タスク指向対話システムにおける低リソース・少データ学習のスロット埋め込みの課題に対処すること。
• 他の対話コンponentsに依存しない、柔軟で意図に依存しないスパン抽出フレームワークの開発。
• ConveRT などの大規模事前学習モデルから得た会話知識を活用し、少データ環境での性能を向上させること。
• 実世界のレストラン予約会話から収集した、新しいリアルなベンチマークデータセットである RESTAURANTS-8K を提供すること。
• 初期学習からではなく、会話表現を転移することで、データ効率的かつ頑健なスロット埋め込みを実現すること。

提案手法

• 各スロットをスパンとして予測するか、存在しないと判断するターンベースのスパン抽出タスクとしてスロット埋め込みを定式化する。
• Redditデータ上で事前学習された大規模会話モデルである ConveRT を用いて文脈的表現を提供する。
• 意図検出に依存せずに、ターンレベルの文脈をモデル化するためにスロットリクエスト状態を入力特徴として統合する。
• ConveRT埋め込みの上に CNN-CRF アーキテクチャを適用し、エンドツーエンドのスパン予測を実現する。
• 最小限の微調整で、ConveRT からのサブワード表現をターゲットドメインに転移する。
• すべてのスロット値に対して文字レベルのスパンインデックスを用いることで、自然言語表現の柔軟で正確な抽出を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ConveRT から得た事前学習済み会話表現を活用することで、対話スロット埋め込みにおける少データスパン抽出の性能向上が図れるか？
• RQ2 Span-ConveRT は、少データ環境下で BERTベースのスパン抽出器や、初期から学習したモデルと比較してどのように異なるか？
• RQ3 標準的な言語モデル学習の代わりに、会話的学習目的を用いることで、対話タスクにおいてより優れた性能が得られるか？
• RQ4 RESTAURANTS-8K データセットは、現実的な対話設定におけるスパン抽出の評価に有効なベンチマークとして適しているか？
• RQ5 スパン抽出における最も一般的な誤りは何か？また、低リソースと高リソースの設定におけるモデル間でその誤りの性質はどのように異なるか？

主な発見

• Span-ConveRT は、RESTAURANTS-8K および DSTC8 データセットのすべての少データ設定において、BERTベースのスパン抽出器よりも一貫した改善を達成する。
• RESTAURANTS-8K データセットでは、100%の学習データを使用した場合に F1 スコア 0.95 を達成し、データ量が1/16にまで減少しても強固な性能（F1 = 0.86）を維持し、ベースラインを上回る。
• たった64件の学習例（全データの0.75%）での学習でも、Span-ConveRT は F1 スコア 0.86 を達成し、BERTベースのモデルや初期から学習したモデルを著しく上回る。
• ターゲットドメインで初期から学習したモデルは、低データ環境下で著しく性能を発揮せず、データ量が1/16にまで減少した際の F1 スコアは 0.58 にまで低下する。これは、事前学習の重要性を示している。
• ConveRT を用いた会話的学習は、標準的な BERT 学習でさえ、全データで微調整した場合よりも優れた性能を発揮する。これは、会話的学習が対話タスクに適していることを示している。
• 誤り分析の結果、Span-ConveRT は、未知語を名前として誤って分類する誤りを低減しており、特に低データ設定下での「名前（first name）」スロットの性能向上が顕著である。