[論文レビュー] The Partner Modelling Questionnaire: A validated self-report measure of perceptions toward machines as dialogue partners

Philip R. Doyle, Iona Gessinger+8 more|arXiv (Cornell University)|Aug 14, 2023

Speech and dialogue systems被引用数 10

ひとこと要約

本論文は、Partner Modelling Questionnaire (PMQ) を開発・検証する。3つの研究を通じて、機械を対話パートナーとして認識する感覚を測定する18項目の自己報告尺度である。

ABSTRACT

Recent work has looked to understand user perceptions of speech agent capabilities as dialogue partners (termed partner models), and how this affects user interaction. Yet, currently partner model effects are inferred from language production as no metrics are available to quantify these subjective perceptions more directly. Through three studies, we develop and validate the Partner Modelling Questionnaire (PMQ): an 18-item self-report semantic differential scale designed to reliably measure people's partner models of non-embodied speech interfaces. Through principal component analysis and confirmatory factor analysis, we show that the PMQ scale consists of three factors: communicative competence and dependability, human-likeness in communication, and communicative flexibility. Our studies show that the measure consistently demonstrates good internal reliability, strong test-retest reliability over 12 and 4-week intervals, and predictable convergent/divergent validity. Based on our findings we discuss the multidimensional nature of partner models, whilst identifying key future research avenues that the development of the PMQ facilitates. Notably, this includes the need to identify the activation, sensitivity, and dynamism of partner models in speech interface interaction.

研究の動機と目的

• 非具象的な音声インターフェースに対するパートナーモデルの信頼できる自己報告尺度を開発する。
• PMQの因子構造を特定し、頑健性のために項目を削減する。
• 関連尺度との収束的および発散的妥当性を評価する。
• 12週間および4週間の間隔での再テスト信頼性を評価する。
• パートナーモデルの多次元性を示し、今後の研究の指針とする。

提案手法

• レパートリ・グリッド法と主観的尺度のレビューから大規模な項目プールを生成する。
• 探索的因子分析と確証的因子分析を用いて3因子構造を特定・検証する（コミュニケーション能力と信頼性; コミュニケーションにおける人間らしさ; コミュニケーションの柔軟性）。
• CFAを介して23項目版と18項目版を比較し、頑健なバージョンを選定する。
• SASIとI-D-AQ尺度を用いた収束的/発散的妥当性を評価する。
• ICCとピアソン相関を用いて、12週間および4週間の間隔で再テスト信頼性を評価する。

実験結果

リサーチクエスチョン

• RQ1 PMQの基礎因子構造は何か？
• RQ2 18項目版のPMQは独立したサンプル間で頑健で妥当か？
• RQ3 PMQは関連する主観的尺度と収束的・発散的妥当性を示すか？
• RQ4 PMQの異なる間隔での再テスト信頼性はどうか？

主な発見

• PMQは3つの因子から成る：コミュニケーション能力と信頼性、コミュニケーションにおける人間らしさ、そしてコミュニケーションの柔軟性。
• 18項目版PMQは、23項目版と比較して良好な内部一貫性と頑健なCFA適合を示す。
• PMQはSASIと収束的妥当性を、IDAQとは発散的妥当性を示す。
• PMQは12週および4週で強い再テスト信頼性を示す。
• 18項目モデルは、音声インターフェースのパートナーモデルを端的かつ頑健に測定する。