[論文レビュー] Interview: A Large-Scale Open-Source Corpus of Media Dialog

Bodhisattwa Prasad Majumder, S. X. Li+2 more|arXiv (Cornell University)|Apr 7, 2020

Topic Modeling参考文献 28被引用数 5

ひとこと要約

本稿では、NPRニュースインタビューから抽出された大規模（105K通話、127M語）でオープンソースのマスコミ対話コーパス「Interview」を紹介する。このコーパスは発話者役割のアノテーションを備えており、モデルをInterviewで微調整した場合、スプoken対話ベンチマークにおけるゼロショット性能が向上し、発話者役割を条件として与えると、より問いかけが多く、トピックに関連した応答を生成するようになる。また、発話者に依存しないベースラインと比較して、応答品質および役割に配慮した生成性能の両面で優れている。

ABSTRACT

Existing conversational datasets consist either of written proxies for dialog or small-scale transcriptions of natural speech. We introduce 'Interview': a large-scale (105K conversations) media dialog dataset collected from news interview transcripts. Compared to existing large-scale proxies for conversational data, language models trained on our dataset exhibit better zero-shot out-of-domain performance on existing spoken dialog datasets, demonstrating its usefulness in modeling real-world conversations. 'Interview' contains speaker role annotations for each turn, facilitating the development of engaging, responsive dialog systems. In fact, experiments on two dialog tasks show that leveraging such labels improves performance over strong speaker-agnostic baselines, and enabling models to generate more specific and inquisitive responses in interview-style conversations.

研究の動機と目的

• 実際のスプokenマスコミ対話に基づいた大規模で高品質なオープンドメイン対話データセットの不足に対処すること。
• 発話者役割アノテーションがオープンドメイン対話システムにおける応答生成品質および役割に配慮したモデリングに寄与するかどうかを調査すること。
• 2つのタスクにおけるコーパスのベンチマーク：役割条件付き対話生成と発話者役割変更検出。
• 発話者役割をモデリングすることで、インタビュー形式の会話においてより自然で問いかけが多く、文脈的に関連性の高い応答が得られることを示すこと。

提案手法

• 105,848件のマルチパーティ対話トランスクリプト（1999–2019年、NPRの7プログラム）から構築されたコーパスで、合計320万ターン、1億2700万語にのぼる。
• 各発話に対して、発話者役割（例：ホスト、ゲスト、ゲスト2）が明示的にアノテートされており、役割に配慮したモデリングを可能にしている。
• 対話生成のため、GPT-2およびDialoGPTは、発話履歴と発話者埋め込みの連結を用いて、発話者役割条件付きで微調整されている。
• 役割変更検出のため、BERTは発話履歴に発話者ラベルを含む・含まない状況で微調整され、次の発話で発話者役割が変更されるかどうかを分類する。
• モデル性能は、自動指標（BLEU、パープレキシティ、名詞句の重複率）とリッカート尺度による人間評価で評価されている。
• 発話者役割埋め込みは、外部の根拠なしに学習中に一括して学習され、役割に依存する語彙的・構文的パターンを捉える。

実験結果

リサーチクエスチョン

• RQ1 発話者役割アノテーションを備えた大規模でオープンドメインのマスコミ対話コーパスは、スプoken対話ベンチマークにおけるゼロショット一般化を向上させることができるか？
• RQ2 言語モデルを発話者役割で条件づけることで、インタビュー形式の対話においてより問いかけが多く、文脈的に関連性があり、忠実度の高い応答が得られるか？
• RQ3 発話者役割アノテーションは、リアルタイム対話における発話者役割変更検出タスクの性能をどの程度向上させるか？
• RQ4 発話者役割モデリングは、生成応答におけるトピックの一貫性および実体参照にどのような影響を与えるか？

主な発見

• Interviewで微調整されたモデルは、Redditなどの書記形式の代替データセットで学習したモデルと比較して、既存のスプoken対話データセット（例：DailyDialog、CALLHOME）におけるゼロショット性能が顕著に向上した。
• 発話者条件付きモデル（例：Speaker GPT2）は、59.4％の質問発話率を示し、発話者に依存しないベースラインと比較してはるかに問いかけが多くなっている。
• 発話者条件付きモデルは、発話者に依存しないベースラインと比較して、パープレキシティが15.2％低く、BLEUスコアが4.3ポイント高い。これは、応答品質および流暢さの向上を示している。
• 発話者役割ラベルの導入により、役割変更検出のF1スコアは63.2％から66.1％に向上し、役割情報が構造的対話理解に有用であることが示された。
• 人間評価では、発話者条件付きモデルの応答が62.5％の割合で好まれており、自然さおよび関与度の向上が確認された。
• 発話者条件付きモデルは、トピックの一貫性が高く、ベースラインと比較して、対話履歴のトピックと重複する名詞句の割合が32.6％多くなっている。