[論文レビュー] A Corpus of Controlled Opinionated and Knowledgeable Movie Discussions for Training Neural Conversation Models

Fabian Galetzka, Chukwuemeka U. Eneh+1 more|arXiv (Cornell University)|Mar 30, 2020

Topic Modeling被引用数 4

ひとこと要約

本論文では、参加者の知識および意見プロファイルを明示的に制御した映画討論を特徴とする新しい対話データセットKOMODISを紹介する。このデータで学習させた自己注意デコーダーモデルは、事実的知識と安定した個人的立場を反映した自然で一貫性があり、意見的な応答を生成でき、ランダムな分散ベースラインよりも知識の豊かさと性格の一貫性で優れている。

ABSTRACT

Fully data driven Chatbots for non-goal oriented dialogues are known to suffer from inconsistent behaviour across their turns, stemming from a general difficulty in controlling parameters like their assumed background personality and knowledge of facts. One reason for this is the relative lack of labeled data from which personality consistency and fact usage could be learned together with dialogue behaviour. To address this, we introduce a new labeled dialogue dataset in the domain of movie discussions, where every dialogue is based on pre-specified facts and opinions. We thoroughly validate the collected dialogue for adherence of the participants to their given fact and opinion profile, and find that the general quality in this respect is high. This process also gives us an additional layer of annotation that is potentially useful for training models. We introduce as a baseline an end-to-end trained self-attention decoder model trained on this data and show that it is able to generate opinionated responses that are judged to be natural and knowledgeable and show attentiveness.

研究の動機と目的

• エンドツーエンドのニューラルチャットボットにおける一貫性の欠如、特に目的のない会話における知識保持と意見の安定性の問題に対処すること。
• 各参加者の知識と意見が明示的に制御され、アノテートされた大規模かつ高品質な対話データセットを構築すること。
• 会話の各ターンにわたり、事実的知識と個人的意見の両方でグローバルな一貫性を保つニューラルモデルの訓練を可能にすること。
• クラウドワーカーが会話作成中に割り当てられた知識および意見プロファイルを厳密に遵守しているかを検証すること。
• このデータで学習したモデルが、人間の評価者によって自然さ、知識の豊かさ、意見の一貫性があると判断される応答を生成できることを示すこと。

提案手法

• データセットはアマゾン・メカニカル・トルクを介して収集され、各対話ペアには、映画および俳優に関する事前に定義された知識的事実と意見プロファイルが割り当てられた。
• 知識的事実はIMDbから抽出され、キャラクターの関係や監督の発言などのトリビアを含む。
• 意見プロファイルは、エンティティ（例：「監督を愛している」「主役俳優を嫌っている」）に対する立場を含み、1つのエンティティに対して複数の意見が可能である。
• 各対話は、知識および意見プロファイルへの準拠性について人間のレーティングによって検証され、高い一貫性が保証された。
• 2種類のネガティブサンプリング（ランダムおよびルールベース）を用いて、データセット上でエンドツーエンドの自己注意デコーダーモデルを学習させた。
• モデルの評価は、人間によるアノテーション（自然さ、一貫性、性格、知識の豊かさ）および自動指標（パープレキシティ、hits@n）を用いて行った。

実験結果

リサーチクエスチョン

• RQ1 目的のない会話において、ニューラル対話モデルが長時間にわたり一貫した意見を維持できるか。
• RQ2 制御されたプロファイルベースのデータセットから、モデルが事実的知識をどれだけ効果的に組み込み、保持できるか。
• RQ3 明示的な意見および知識のアノテーションの導入が、対話生成におけるモデルの一貫性と自然さの認識にどのように寄与するか。
• RQ4 ルールベースとランダムなネガティブサンプリング戦略の違いが、知識および意見の一貫性におけるモデルのパフォーマンスに与える影響はどの程度か。
• RQ5 この制御された設定において、hits@n などの自動指標は人間の判断と相関するか。

主な発見

• 人間評価では性格の一貫性について高い合意度（5段階中4.55）が得られ、クラウドワーカーが割り当てられた意見プロファイルをうまく遵守していることが確認された。
• ルールベースの分散を使用して学習させたモデルは、ランダム分散を使用したモデル（hits@1: 74.22）と比較して、性格および知識の豊かさの両面で顕著に優れたパフォーマンス（hits@1: 79.33）を示した。
• パープレキシティがやや高かったにもかかわらず、ルールベースのモデルは人間評価においてランダムモデルを上回った。これは、自動指標（例：パープレキシティ）が人間の認識と常に一致するわけではないことを示している。
• hits@n 指標は人間評価と強い相関を示し、この文脈ではモデル品質の信頼できる代理指標であると考えられる。
• モデルは自然で意見的かつ知識に裏付けられた応答を効果的に生成できたが、映画分野外のトピックのシフトには苦労した。
• 結果として、知識と意見の明示的ラベル付けが、より一貫性があり、会話に生き生きとしたニューラル対話システムの訓練を可能にすることを確認した。