[論文レビュー] Commonsense Reasoning for Conversational AI: A Survey of the State of the Art

Christopher Richardson, Larry Heck|arXiv (Cornell University)|Feb 15, 2023

Topic Modeling被引用数 10

ひとこと要約

この論文は、会話型AIへの常識推論の統合に関する最近の研究を概観し、データセット、手法、ベンチマーク、BlenderBot3とLaMDAの予備的な結果を詳述する。開放対話における常識理解のギャップを強調し、さらなる研究を動機づける。

ABSTRACT

Large, transformer-based pretrained language models like BERT, GPT, and T5 have demonstrated a deep understanding of contextual semantics and language syntax. Their success has enabled significant advances in conversational AI, including the development of open-dialogue systems capable of coherent, salient conversations which can answer questions, chat casually, and complete tasks. However, state-of-the-art models still struggle with tasks that involve higher levels of reasoning - including commonsense reasoning that humans find trivial. This paper presents a survey of recent conversational AI research focused on commonsense reasoning. The paper lists relevant training datasets and describes the primary approaches to include commonsense in conversational AI. The paper also discusses benchmarks used for evaluating commonsense in conversational AI problems. Finally, the paper presents preliminary observations of the limited commonsense capabilities of two state-of-the-art open dialogue models, BlenderBot3 and LaMDA, and its negative effect on natural interactions. These observations further motivate research on commonsense reasoning in conversational AI.

研究の動機と目的

• 会話型AIにおける常識推論の問題を動機づけて定義し、それが対話タスクに与える影響を明らかにする。
• 一般的な会話型AIの問題を分類する（シーケンス分類、QA、対話モデリング、対話要約）と、それらが常識推論とどう関連するかを論じる。
• 対話システムにおける常識推論を評価するために使用される学習データセットとベンチマークをレビューする。
• 常識推論を取り入れる方法論的アプローチを調査する（モデル微調整、知識グラフ grounding、自然言語による説明）。
• 現在のシステムの制限を強調し、今後の研究の方向性を示す。

提案手法

• アプローチを三つの主要カテゴリに分類する：モデル微調整、知識グラフ grounding、自然言語による説明。
• 常識を組み込んだ対話タスクに使用されるデータセットを要約・比較する（例：DailyDialogue、MuTual、DREAM、Ubuntu Dialogue Corpus）。
• ConceptNetやATOMICなどの知識グラフと、これらの情報源に対して対話を grounding する方法を議論する。
• 推論を生成するためのCOMETなどのニューラル常識モデルとその派生を説明する。
• 対話における常識推論を評価するためのベンチマークと指標をレビューする。QAベースおよび非QA評価アプローチを含む。
• 現在の常識推論の制約を示すためにBlenderBot3とLaMDAの予備的観察を提供する。

実験結果

リサーチクエスチョン

• RQ1 会話型AIタスクにおける常識推論を評価するためにどのデータセットとベンチマークが存在するか？
• RQ2 三つの大きな方法論ファミリー（微調整、KG grounding、自然言語での説明）は、会話型AIの問題全体でどのように機能するか？
• RQ3 最先端モデル（例：BlenderBot3、LaMDA）における常識推論の観察されたギャップは何か？
• RQ4 外部の常識知識の有効なソースは何か、そしてそれをオープンエンドの対話システムにどう統合できるか？

主な発見

• 現在のオープン対話モデルでは常識推論が依然として限定的で、自然な対話に影響を及ぼしている。
• 外部知識源（ ConceptNet、ATOMIC）とニューラル常識モデル（例：COMET）は推論を補強するために用いられるが、制限がある。
• 三つの顕著なアプローチが浮上する：専用データセットを用いたモデル微調整、知識グラフ grounding、自然言語による説明；それぞれ長所とトレードオフがある。
• ベンチマークは主にQA重視で、厳密なQAタスクを超えるより広い評価指標の普及が進んでいる。
• BlenderBot3とLaMDAの予備的実験は推論と明確化の瞬間を示すが、意味不明・矛盾する発話の顕著な失敗もあり、さらなる常識統合の必要性を強調している。