[論文レビュー] Argument Harvesting Using Chatbots

Lisa A. Chalaguine, Anthony Hunter+2 more|arXiv (Cornell University)|May 11, 2018

Multi-Agent Systems and Negotiation参考文献 8被引用数 7

ひとこと要約

本稿では、行動変容の文脈を想定し、軽量なチャットボットを用いてユーザーから現実世界の主張および反論を自動で収集するアーギュメントハーベスティングの手法を提案する。シンプルでドメインに依存しないチャットボットを用い、会話によって主張を収集し、その背後にある価値で分類し、意味的に類似した主張をクラスタリングし、交換可能な反論を同定する。80%の適切な反論が類似した主張にマッチした場合に有効であると認識されたことが示された。

ABSTRACT

Much research in computational argumentation assumes that arguments and counterarguments can be obtained in some way. Yet, to improve and apply models of argument, we need methods for acquiring them. Current approaches include argument mining from text, hand coding of arguments by researchers, or generating arguments from knowledge bases. In this paper, we propose a new approach, which we call argument harvesting, that uses a chatbot to enter into a dialogue with a participant to get arguments and counterarguments from him or her. Because it is automated, the chatbot can be used repeatedly in many dialogues, and thereby it can generate a large corpus. We describe the architecture of the chatbot, provide methods for managing a corpus of arguments and counterarguments, and an evaluation of our approach in a case study concerning attitudes of women to participation in sport.

研究の動機と目的

• 計算的議論分野におけるスケーラブルで現実世界の主張収集手法の不足に取り組む。
• 最小限のドメイン知識を有するチャットボットが、行動変容に関する意味のある価値を内包する主張をユーザーから効果的に引き出せるかどうかを検討する。
• 意味的に類似した主張および価値を持つ主張がクラスタリング可能であり、それらが相互に交換可能な反論として使用できるかどうかを調査する。
• 自動対話システム向けに、主張および反論の収集・分類・再利用を可能にするパイプラインを構築する。

提案手法

• パターンマッチングと代名詞置換（Elizaにインspired）を用いたシンプルで汎用的なチャットボットを設計し、行動変容に関する会話にユーザーを参加させる。
• 参加者がスポーツ参加についての主張および反論を提示するように、クラウドソーシング実験を実施する。
• 参加者が自ら割り当てた価値をもとに、教師あり分類器を用いて収集した主張をその背後にある価値で分類する。
• 意味的類似度（埋め込みモデルを用いて）と共有される価値の両方を用いて、類似した主張をクラスタリングする。
• 意味的に類似した主張のクラスタから、効果的な反論を検索・再利用することで、候補となる反論を生成する。
• 50%の閾値を満たす妥当性基準に基づき、ユーザーによる承認度評価を通じて反論の適切さを評価する。

実験結果

リサーチクエスチョン

• RQ1 最小限のドメイン知識を持つチャットボットは、行動変容に関する意味のある現実世界の主張を効果的に収集できるか？
• RQ2 類似した主張を述べる人々は同じ背後にある価値を持つのか。また、その価値は信頼性を持って予測可能か？
• RQ3 意味的に類似した主張に対して反論を適用した場合、それらは有効であるか。また、それらは相互に交換可能と見なせるか？
• RQ4 どの程度まで、主張のクラスタを用いて効果的な反論を生成・検証できるか？

主な発見

• チャットボットは、行動変容の文脈で100名の参加者から284件の固有の主張と156件の反論を効果的に収集した。
• 意味的に類似した主張は、参加者によって一貫して同じまたは類似した価値に割り当てられ、分類による価値予測が信頼性を持って可能となった。
• 意味的に類似した主張のクラスタから導出された反論は、50%の適合基準を満たした場合に、ユーザーの承認率が約80%に達した。
• 反論「友達と一緒にスポーツチームに参加できる」は、時間管理や内的な利益を考慮していないため、効果がなかった（承認率17.5%）。
• 284件の主張のうち、131件しか正しくクラスタリングできなかった。主に前処理エラー、複雑な類義語、否定文、および一意または繰り返しのない主張が原因であった。
• 結果は、適切でよく構成された反論であれば、意味的に類似した主張に対して交換可能であるという仮説を支持している。