[論文レビュー] COKE: A Cognitive Knowledge Graph for Machine Theory of Mind

Jincenzi Wu, Zhuang Chen+4 more|arXiv (Cornell University)|May 9, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿では、人間の心の理論（ToM）を45,000件を超える手動で検証された認知的連鎖として形式化した最初の認知的知識グラフ、ℂ𝕆𝕂𝔼を紹介する。ℂ𝕆𝕂𝔼を微調整したことで、事前学習済み言語モデルを活用し、ℂ𝕆𝕂𝔼⁺と呼ばれる認知的生成モデルを構築した。このモデルは、自動評価および人間による評価の両方で強力なベースラインを上回り、未学習の社会的状況において優れたToM推論を示した。

ABSTRACT

Theory of mind (ToM) refers to humans' ability to understand and infer the desires, beliefs, and intentions of others. The acquisition of ToM plays a key role in humans' social cognition and interpersonal relations. Though indispensable for social intelligence, ToM is still lacking for modern AI and NLP systems since they cannot access the human mental state and cognitive process beneath the training corpus. To empower AI systems with the ToM ability and narrow the gap between them and humans, in this paper, we propose COKE: the first cognitive knowledge graph for machine theory of mind. Specifically, COKE formalizes ToM as a collection of 45k+ manually verified cognitive chains that characterize human mental activities and subsequent behavioral/affective responses when facing specific social circumstances. In addition, we further generalize COKE using LLMs and build a powerful generation model COLM tailored for cognitive reasoning. Experimental results in both automatic and human evaluation demonstrate the high quality of COKE, the superior ToM ability of COLM, and its potential to significantly enhance social applications.

研究の動機と目的

• AIシステムが学習可能で構造化された知識ベースとして、人間の心の理論（ToM）を形式化すること。
• 現代のNLPおよびAIが表面的なテキストパターンに依存する中で、精神状態の理解が不足している問題に対処すること。
• 人間の精神的活動および社会的文脈における感情的・行動的反応を捉える認知的知識グラフ（ℂ𝕆𝕂𝔼）を構築すること。
• 未学習の社会的状況に対して認知的連鎖を推論できる認知的生成モデル、ℂ𝕆𝕂𝔼⁺を開発すること。
• 自動評価および人間による評価を通じて、ℂ𝕆𝕂𝔼の品質およびℂ𝕆𝕂𝔼⁺の有効性を検証すること。

提案手法

• InstructGPTに認知的連鎖の生成を促すことでℂ𝕆𝕂𝔼を構築し、心理学専門のアノテーターによる手動での検証を実施する。
• 5つのノードタイプを定義する：状況（社会的文脈）、手がかり（誘発要因）、思考（精神的活動）、感情（感情的反応）、行動（行動的反応）。
• 認知的連鎖を肯定的または否定的とラベル付けすることで、楽観的または消極的な推論傾向を捉える。
• ℂ𝕆𝕂𝔼データセット上でT5-baseを微調整し、分布外の状況に対して完全な認知的連鎖を生成するパイプラインモデルであるℂ𝕆𝕂𝔼⁺を訓練する。
• 認知的連鎖生成を4つの明確なタスクに分解する：状況→思考、手がかり→思考、思考→感情、思考→行動の予測。
• 自動指標と人間評価の両方を用いて、生成された認知的連鎖の品質および一貫性を評価する。

実験結果

リサーチクエスチョン

• RQ1 人間の心の理論（ToM）を、精神的および行動的反応の構造的連鎖として体系的に形式化した認知的知識グラフを構築できるか？
• RQ2 このような知識グラフで微調整された事前学習済み言語モデルは、未学習の社会的状況にどの程度一般化できるか？
• RQ3 人間が検証した認知的連鎖を統合することで、ベースラインモデルと比較してAIが生成する精神状態推論の品質および一貫性が向上するか？
• RQ4 認知的連鎖の極性ラベル（肯定的／否定的）の統合は、モデルが多様な人間の推論パターンをどの程度反映できるかにどの程度寄与するか？
• RQ5 認知的生成モデルℂ𝕆𝕂𝔼⁺は、人間の判断と整合的で現実的かつ文脈に根ざした認知的連鎖を生成できるか？

主な発見

• ℂ𝕆𝕂𝔼には62,328のノードと、5つの社会的トピックにわたる45,369件の手動検証済み認知的連鎖が含まれており、専門家によるアノテーションにより高い品質が保証されている。
• ℂ𝕆𝕂𝔼⁺は、T5やInstructGPTといった強力なベースラインと比較して、すべての4つの認知的生成タスクにおいて自動評価および人間評価の両方で優れている。
• 人間による評価により、ℂ𝕆𝕂𝔼⁺がベースラインモデルよりもより現実的で一貫性があり、文脈的に適切な認知的連鎖を生成することが確認された。
• モデルは未学習の社会的状況に対しても強力なゼロショット一般化を示しており、ToM推論が効果的に内部化されていることが示された。
• 極性（肯定的／否定的）ラベルの統合により、モデルが社会的推論における多様な人間の認知的傾向をより適切に反映できるようになった。
• 本研究では、データカバレッジとモデルスケーラビリティの制限が特定された。今後の研究では、トピックの多様性を拡大し、より大きなバックボーンモデルの検討が求められる。