[論文レビュー] Social Skill Training with Large Language Models

Diyi Yang, Caleb Ziems+4 more|arXiv (Cornell University)|Apr 5, 2024

Topic Modeling被引用数 5

ひとこと要約

APAMフレームワークは、AI PartnerとAI Mentorを組み合わせて、拡張可能で安全かつ個別化された社会的スキル訓練を大規模言語モデルで実現するものであり、実装ガイダンスと評価上の考慮事項を提供します。

ABSTRACT

People rely on social skills like conflict resolution to communicate effectively and to thrive in both work and personal life. However, practice environments for social skills are typically out of reach for most people. How can we make social skill training more available, accessible, and inviting? Drawing upon interdisciplinary research from communication and psychology, this perspective paper identifies social skill barriers to enter specialized fields. Then we present a solution that leverages large language models for social skill training via a generic framework. Our AI Partner, AI Mentor framework merges experiential learning with realistic practice and tailored feedback. This work ultimately calls for cross-disciplinary innovation to address the broader implications for workforce development and social equality.

研究の動機と目的

• 社会的スキル訓練へのアクセスの障壁を特定し、拡張可能な解決策の必要性を動機づける。
• 経験的実践と専門家のフィードバックを融合させるAPAMフレームワーク（AI PartnerとAI Mentor）を紹介する。
• AI Partnersの設計上の考慮事項（一貫性、現実味、カリキュラム）とAI Mentorsの設計上の考慮事項（ドメインの根拠づけ、文脈に応じたフィードバック）を説明する。
• APAMシステムを開発するための四段階の方法論を概説し、安全性、評価、およびより広い社会的影響を論じる。

提案手法

• 社会的スキル訓練を四段階のプロセスとして定義する：基礎となる社会的プロセスを理解し、AI Partnerのシミュレーションを設計し、個別に合わせたフィードバックを提供するAI Mentorを作成し、安全な模擬環境に統合する。
• AI Partnerの現実的な練習シナリオを提供するために、LLMベースのシミュレーションを活用する。
• 関連理論とフレームワーク（例：モチベーショナル・インタビューイング、紛争解決）を挙げたドメイン根拠づけフィードバックを提供するAI Mentorを採用する。
• 知識を根拠づけ、最新の状態を保つため、retrieval-augmented generationとplanningモジュールの統合を提案する。
• 高リスク領域におけるリスクを管理するためのセーフティ・コンティニュムと展開モードについて論じる。

実験結果

リサーチクエスチョン

• RQ1 リアルで多様かつ安全な社会的相互作用の練習を提供するように、AI PartnerとAI Mentorはどのように設計できるか。
• RQ2 APAMは経験的実践と理論に根拠づけられたフィードバックをどのように統合して学習成果を高めるか。
• RQ3 APAMシステムの責任ある展開のために、どのような安全性・評価・エンドユーザー制御機構が必要か。
• RQ4 APAMをカウンセリング、紛争解決、教育などの分野にどのように適用できるか、そして予想される測定可能な影響は何か。

主な発見

• APAMは社会的スキルの体験型学習と個別化フィードバックへの拡張可能な道を提供します。
• AI Partnerのシミュレーションは現実的な練習を可能にしつつ、リスクとアクセスの障壁を低減します。
• AI Mentorは文脈と学習者の状態に合わせた、根拠づけられた理論ベースのフィードバックを提供します。
• 安全性モデルは高リスク領域での責任ある使用のための連続的展開モードを提案します。
• 例はCARE（peer counseling）、Rehearsal（conflict rehearsal）、GPTeach（education）におけるAPAMの適用を示します。
• 評価の指針は、内在的なNLP指標と、外在的でドメインに関連した教育成果を組み合わせることを強調します。