[논문 리뷰] Variability in the interpretation of Dutch probability phrases - a risk for miscommunication

Sanne J. W. Willems, Casper J. Albers외 1명|arXiv (Cornell University)|2019. 01. 28.

Risk Perception and Management참고 문헌 16인용 수 5

한 줄 요약

이 연구는 네덜란드어를 모국어로 쓰는 사람들이 언어적 확률 표현을 어떻게 해석하는지의 변동성을 조사하며, 통계학자와 비통계학자 간에도 개인 간 차이가 뚜렷하게 나타남을 밝혀낸다. 맥락 중립성에도 불구하고 '가능성 있음'과 '가능성 없음'과 같은 표현의 해석이 심각한 비대칭성을 보이며, 언어적 표현에서 수치적 확률로의 보편적 번역표 제작의 타당성을 떨어뜨린다.

ABSTRACT

Verbal probability phrases are often used to express estimated risk. In this study, focus was on the numerical interpretation of 29 Dutch probability and frequency phrases, including several complementary phrases to test (a)symmetry in their interpretation. Many of these phrases had not been studied before. The phrases were presented in the context of ordinary situations. The survey was distributed among both statisticians and non-statisticians with Dutch as their native language. The responses from 881 participants showed a large variability in the interpretation of Dutch phrases, and the neutral contexts seemed to have no structural influence. Furthermore, the results demonstrated an asymmetry in the interpretation of Dutch complementary phrases. The large variability of interpretations was found among both statisticians and non-statisticians, and among males and females, however, no structural differences were found between the groups. Concluding, there is a large variability in the interpretation of verbal probability phrases, even within sub-populations. Therefore, verbal probability expressions may be a risk for miscommunication.

연구 동기 및 목표

• 중립적 맥락에서 29개의 네덜란드어 언어적 확률 및 빈도 표현의 수치적 해석을 조사하기.
• 맥락이 네덜란드어 사용자 간 해석 변동성에 영향을 미치는지 평가하기.
• 상보적인 확률 표현(예: '가능성 있음' 대비 '가능성 없음')의 해석에서 비대칭성 여부를 조사하기.
• 통계학자와 비통계학자 간, 그리고 성별 간의 해석 패턴 비교하기.
• 네덜란드어 언어적 표현에서 수치적 확률로의 표준 번역표 제작 가능성 평가하기.

제안 방법

• 통계학자와 비통계학자를 포함한 881명의 모국어 네덜란드어 사용자에게 온라인 설문을 시행하기.
• 상황적 편향을 최소화하기 위해 중립적이고 일상적인 맥락에서 29개의 네덜란드어 확률 및 빈도 표현을 제시하기.
• 각 표현에 대해 0%에서 100% 사이의 점수를 제출받아 수치적 해석 분석 가능하게 하기.
• 기술통계와 집단 비교(통계학자 대비 비통계학자, 남성 대비 여성)를 통해 해석 변동성 분석하기.
• 상보적인 표현(예: '가능성 있음'과 '가능성 없음')의 평균 해석을 비교하여 비대칭성 테스트하기.
• 중립적이고 정보가 없는 시나리오를 사용하여 기초 해석 패턴을 평가함으로써 맥락의 영향 탐색하기.

실험 결과

연구 질문

• RQ1 네덜란드어 사용자들은 중립적 맥락에서 29개의 일반적인 언어적 확률 표현을 어떻게 해석하는가?
• RQ2 맥락이 이러한 표현의 해석에 어느 정도 영향을 미치는가?
• RQ3 상보적인 확률 표현(예: '가능성 있음' 대비 '가능성 없음')의 해석에 체계적인 비대칭성이 존재하는가?
• RQ4 통계학자와 비통계학자 간에 확률 표현 해석에 유의미한 차이가 존재하는가?
• RQ5 성별에 따른 언어적 확률 표현 해석 차이가 존재하는가?

주요 결과

• 네덜란드어 확률 표현의 해석은 통계학자들 사이에서도 상당한 변동성을 보이며, 참가자 간 일관된 합의가 없었다.
• '가능성 있음'의 평균 해석은 75%였고, '가능성 없음'은 25%로 해석되어 예상되는 100% 합계 대비 50%의 비대칭성을 보였다.
• '가능성 있음'과 '불확실함'과 같은 표현은 매우 일관되지 않은 해석을 보였으며, '가능성 있음'은 3%에서 100%까지 광범위하게 해석되어 '불가능함'과의 비대칭성에 기여했다.
• 통계학자와 비통계학자 간, 또한 남성과 여성 간에 해석에 유의미한 차이가 없었으며, 전문성이나 성별이 해석 변동성을 줄이지 못한다는 점을 시사했다.
• 맥락은 구조적 영향이 미미했지만, 약간의 영향을 보였으며, 이는 맥락에 따라 변하는 해석 패턴이 존재함을 시사하며 표준화를 복잡하게 했다.
• 이 연구는 높은 변동성과 비대칭성 때문에 네덜란드어 언어적 표현에서 수치적 확률로의 보편적 또는 집단별 번역표 제작이 불가능하다고 결론 내렸다.