[論文レビュー] Towards Social & Engaging Peer Learning: Predicting Backchanneling and Disengagement in Children.

Mononito Goswami, Minkush Manuja+1 more|arXiv (Cornell University)|Jul 22, 2020

Speech and dialogue systems参考文献 39被引用数 10

ひとこと要約

本稿では、子供たちとのペア学習において、社会的ロボットが魅力的な学習コンパニオンとして機能できるようにするため、2つの機械学習モデル—リスナーの関与低下予測（LDP）とバックチャンネリング度予測（BEP）—を提案する。マルチモーダル時系列特徴（例：瞳孔拡張、瞬きレート、頭部運動、発話のプロソディ）を用い、リアルタイムで関与低下と最適なバックチャンネリング反応を予測する。時間的ダイナミクスをモデル化することで顕著な性能向上が得られ、Permutation Feature Importanceにより特定された主要特徴として、話者のF0と瞳孔拡張が最も影響力が大きいことが明らかになった。

ABSTRACT

Social robots and interactive computer applications have the potential to foster early language development in young children by acting as peer learning companions. However, studies have found that children only trust robots which behave in a natural and interpersonal manner. To help robots come across as engaging and attentive peer learning companions, we develop models to predict whether the listener will lose attention (Listener Disengagement Prediction, LDP) and the extent to which a robot should generate backchanneling responses (Backchanneling Extent Prediction, BEP) in the next few seconds. We pose LDP and BEP as time series classification problems and conduct several experiments to assess the impact of different time series characteristics and feature sets on the predictive performance of our model. Using statistics & machine learning, we also examine which socio-demographic factors influence the amount of time children spend backchanneling and listening to their peers. To lend interpretability to our models, we also analyzed critical features responsible for their predictive performance. Our experiments revealed the utility of multimodal features such as pupil dilation, blink rate, head movements, facial action units which have never been used before. We also found that the dynamics of time series features are rich predictors of listener disengagement and backchanneling.

研究の動機と目的

• 子供たちがペアストーリーテリングの過程で関与を失う瞬間を予測するモデルを開発すること。
• リアルタイムでロボットが生成すべきバックチャンネリングの適切な度合いを予測すること。
• 子供の関与およびバックチャンネリング行動に最も影響を与えるマルチモーダルおよび社会的・人口統計的特徴を特定すること。
• Permutation Feature ImportanceとPartial Dependency Plotsを用いてモデルの解釈性を向上させること。
• 行動特徴における時間的ダイナミクスの予測的パワーが、関与モデリングにおいて有効であることを検証すること。

提案手法

• 順序付けられた行動データを用いて、LDPおよびBEPを時系列分類問題として定式化する。
• ビデオおよび音声ストリームからマルチモーダル特徴を抽出し、顔面のアクションユニット（AUs）、瞳孔拡張、瞬きレート、頭部運動（速度／加速度）、およびプロソディック特徴（例：F0、MFCCs）を含む。
• 統計的モーメント、エントロピー、自己相関などの時系列特徴化技術を適用して、特徴表現を強化する。
• LOSO（1人を除いた交差検証）を用い、P2PSTORYデータセット上でランダムフォレストおよびResNetモデルを訓練・評価する。
• 特徴の重要度を評価するためにPermutation Feature Importance（PFI）を用い、特徴の影響を可視化するためにPartial Dependency Plots（PDP）を用いる。
• 最良の性能を示したBEPモデルを、3Dアバター（アリス）上で軽量なFlaskアプリケーションとしてデプロイし、リアルタイムのバックチャンネリングを実証する。

実験結果

リサーチクエスチョン

• RQ1 ペアストーリーティングの過程で子供のリスナーの関与低下を予測するのに、どのマルチモーダル行動特徴が最も予測的か？
• RQ2 行動特徴の時系列ダイナミクスは、バックチャンネリング度および関与低下をどの程度正確に予測できるか？
• RQ3 どの社会的・人口統計的要因が子供の聴講時間およびバックチャンネリングの長さに影響を与えるか？
• RQ4 異なる特徴セットおよび時系列特徴化技術は、モデルの性能にどのように影響を与えるか？
• RQ5 関与およびバックチャンネリングを予測する上で、どの個々の特徴が最も影響力が大きく、それらの特徴はどのように相互作用するか？

主な発見

• LDPモデルは、時系列データをランダムに並び替えた場合に、F1スコアで平均29.8%低下し、AUCで28.6%低下した。これは、時間的ダイナミクスが予測に有意に寄与していることを確認するものである。
• BEPモデルは、時系列データをランダムに並び替えた場合に、F1スコアで平均36.4%低下し、AUCで25.7%低下した。これは、バックチャンネリング予測において時間的パターンが極めて重要であることを示している。
• ランダムフォレストモデルにおいて、話者のF0（周波数）がバックチャンネリング予測において最も重要な予測子であり、次いで瞳孔拡張、AU10、AU14、および頭部移動加速度が続く。
• 瞳孔拡張が0.20～0.22の範囲にあると、リスナーのバックチャンネリング行動が急激に増加することが関連づけられ、関与の重要な非言語的シグナルである可能性が示された。
• ResNetモデルでは、顔面のアクションユニット（AUs）と瞳孔拡張が最も予測力の高い特徴であり、MFCCsのようなプロソディック特徴は相対的に影響力が弱かった。
• 特に瞳孔拡張、瞬きレート、頭部運動を含むマルチモーダル特徴の使用は、単一モーダルまたは従来の特徴よりも高い予測性能を達成した。