[논문 리뷰] The Partner Modelling Questionnaire: A validated self-report measure of perceptions toward machines as dialogue partners

Philip R. Doyle, Iona Gessinger외 8명|arXiv (Cornell University)|2023. 08. 14.

Speech and dialogue systems인용 수 10

한 줄 요약

본 논문은 Partner Modelling Questionnaire (PMQ)를 개발·검증하였으며, 이는 대화 파트너로서 기계에 대한 인식을 측정하는 18-item 자기보고 척도이며, 세 가지 연구에 걸쳐 검증된다.

ABSTRACT

Recent work has looked to understand user perceptions of speech agent capabilities as dialogue partners (termed partner models), and how this affects user interaction. Yet, currently partner model effects are inferred from language production as no metrics are available to quantify these subjective perceptions more directly. Through three studies, we develop and validate the Partner Modelling Questionnaire (PMQ): an 18-item self-report semantic differential scale designed to reliably measure people's partner models of non-embodied speech interfaces. Through principal component analysis and confirmatory factor analysis, we show that the PMQ scale consists of three factors: communicative competence and dependability, human-likeness in communication, and communicative flexibility. Our studies show that the measure consistently demonstrates good internal reliability, strong test-retest reliability over 12 and 4-week intervals, and predictable convergent/divergent validity. Based on our findings we discuss the multidimensional nature of partner models, whilst identifying key future research avenues that the development of the PMQ facilitates. Notably, this includes the need to identify the activation, sensitivity, and dynamism of partner models in speech interface interaction.

연구 동기 및 목표

• 비-실체화된 음성 인터페이스에 대한 파트너 모델의 신뢰할 수 있는 자기보고 측정을 개발한다.
• PMQ의 요인 구조를 식별하고 안정성을 높이기 위해 문항을 축소한다.
• 관련 척도들과의 수렴타당성 및 발산타당성을 평가한다.
• 12주 및 4주 간격에서의 재검사 신뢰도를 평가한다.
• 파트너 모델의 다차원적 특성을 입증하고 향후 연구를 안내한다.

제안 방법

• 재현력 격자 기법과 주관적 측정 도구 평가에서 대규모 문항 풀을 생성한다.
• 탐색적 및 확인적 요인 분석을 사용하여 세 요인 구조(의사소통 능력과 신뢰성; 의사소통의 인간성; 의사소통 유연성)를 식별하고 검증한다.
• CFA를 통해 23-item 모델과 18-item 모델을 비교하여 강건한 버전을 선택한다.
• SASI 및 I-D-AQ 척도와의 수렴 및 발산 타당성을 평가한다.
• ICC 및 피어슨 상관계수를 사용하여 12주 및 4주 간격에서의 재검사 신뢰도를 테스트한다.

실험 결과

연구 질문

• RQ1 PMQ의 기본 요인 구조는 무엇인가?
• RQ2 독립된 샘플에서 18-item PMQ 버전이 강건하고 타당한가?
• RQ3 PMQ가 관련 주관적 척도와의 수렴 및 발산 타당성을 보이는가?
• RQ4 PMQ의 서로 다른 간격에서의 재검사 신뢰도는 무엇인가?

주요 결과

• PMQ는 세 가지 요인으로 구성된다: 의사소통 능력과 신뢰성, 의사소통의 인간성, 의사소통의 유연성.
• 18-item PMQ는 23-item 버전에 비해 뛰어난 내부 신뢰도와 견고한 CFA 적합도를 보인다.
• PMQ는 SASI와의 수렴 타당도 및 IDAQ와의 발산 타당도를 보여준다.
• PMQ는 12주 및 4주에서 강한 재검사 신뢰도를 보인다.
• 18-item 모델은 음성 인터페이스에 대한 파트너 모델을 간결하고 견고하게 측정한다.