[論文レビュー] Natural Language Processing with Commonsense Knowledge: A Survey

Yubo Xie, Liu, Zonghui+5 more|arXiv (Cornell University)|Aug 10, 2021

Topic Modeling参考文献 164被引用数 9

ひとこと要約

本調査は、自然言語処理に外部の常識的知識を統合することで、より深い文脈理解を要するタスクの性能を向上させる、一般的な知識ベースと手法をレビューしている。対話システム、テキスト分類、知識ベース構築の分野における最近の進展に注目し、モデルの推論力と応答品質の向上に寄与する直感的で心理的・社会的知性の役割を強調している。

ABSTRACT

Commonsense knowledge is essential for advancing natural language processing (NLP) by enabling models to engage in human-like reasoning, which requires a deeper understanding of context and often involves making inferences based on implicit external knowledge. This paper explores the integration of commonsense knowledge into various NLP tasks. We begin by reviewing prominent commonsense knowledge bases and then discuss the benchmarks used to evaluate the commonsense reasoning capabilities of NLP models, particularly language models. Furthermore, we highlight key methodologies for incorporating commonsense knowledge and their applications across different NLP tasks. The paper also examines the challenges and emerging trends in enhancing NLP systems with commonsense reasoning. All literature referenced in this survey can be accessed via our GitHub repository: https://github.com/yuboxie/awesome-commonsense.

研究の動機と目的

• 既存の常識的知識ベースと、それらがNLPタスクの性能向上に果たす役割を包括的に概説すること。
• 意味的・意図的NLPタスクの性能向上に寄与する外部常識的知識を活用するベンチマークと手法を検討すること。
• 特に対話システムにおける社会的知性や直感的思考のモデリングの面で、現在のアプローチのギャップを特定すること。
• 事前学習言語モデルを用いた自動知識ベース構築や、機械的皮肉やユーモア検出のようなタスクにおける常識的知識の改善統合を含む、今後の研究方向性を検討すること。

提案手法

• 構造、作成方法、カバレッジに注目し、ConceptNet、OpenCyc、Atomic、ASER、CSKGなどの主要な常識的知識ベースを調査すること。
• 神経ネットワークモデルへの外部知識統合手法を分析し、取得した知識グラフ上のアテンション機構や、seq2seqモデルにおける知識認識デコーダーを含む。
• 関連する常識的事実の選択に、知識取得とスコアリング機構（例：アサーションスコアリング付きTri-LSTM）を用いたモデルを評価すること。
• 会話履歴と外部知識の両方に条件づけられた応答生成アプローチをレビューし、特にConceptNetサブグラフ上でグラフアテンションネットワークを用いた手法を含む。
• 事前学習言語モデルを用いて、高品質で大規模な常識的知識ベースを自動的に構築する手法の提案。
• 直感的思考と社会的相互作用のパターンを知識ベースに統合し、チャットボットにおける共感的かつ多様な応答生成を向上させること。

実験結果

リサーチクエスチョン

• RQ1 外部の常識的知識は、自然言語理解および生成タスクの性能をどのように向上させ得るか？
• RQ2 現在の常識的知識ベースは、社会的知性や直感的思考をどの程度正しく捉えられていないか？
• RQ3 事前学習言語モデルを用いて、高品質で大規模な常識的知識ベースを自動的に構築することはどの程度可能か？
• RQ4 知識ベースを神経対話システムに効果的に統合することで、文脈的・感情的適切な応答を生成するにはどうすればよいか？
• RQ5 常識的知識は、皮肉やユーモア検出のような難しいテキスト分類タスクにおいて、どのような役割を果たすか？

主な発見

• ConceptNet、Atomic、ASERなどの常識的知識ベースは、直感的思考や物理的相互作用の構造的表現を提供し、モデルが表面的なテキストを越えて推論できるようにしている。
• 外部知識ベースから取得した知識に条件づけられた対話生成手法（例：グラフアテンションやアサーションスコアリングを用いたもの）は、メモリネットワークや単語埋め込みのベースラインモデルを上回る性能を示している。
• 事前学習言語モデルは、自動知識ベース構築の分野で有望な兆しを示しているが、現在のところ小規模な評価にとどまり、大規模かつ高精度な展開には至っていない。
• 既存の知識ベースは、共感的応答などの社会的相互作用パターンを明示的にモデル化していないことが多く、チャットボットが社会的に知的な返答を生成する能力を制限している。
• 皮肉や感情の推論のような微妙な推論を含むテキスト分類タスクに、心理学を焦点にした知識ベースを統合することで、モデルの性能向上が見込まれる。
• 分野特化型または行動指向の常識的知識ベース（例：社会的知性を対象とするもの）の構築は、依然として未発達であり、今後の重要な研究機会である。