[논문 리뷰] Modelling Ordinal Responses with Uncertainty: a Hierarchical Marginal Model with Latent Uncertainty components

Roberto Colombi, Sabrina Giordano외 2명|arXiv (Cornell University)|2016. 07. 04.

Multi-Criteria Decision Making참고 문헌 35인용 수 6

한 줄 요약

이 논문은 순서형 평점 응답을 모델링하기 위해 지각된 응답(지식에 기반)과 불확실한 응답(응답 방식에 기반)을 구분하는 계층적 경계 모델에 잠재 불확실성(HMMLU)을 제안한다. 각 항목별로 이진 잠재 변수를 도입하여 불확실성을 모델링하고, 직접 해석이 가능한 경계 파rametrization을 사용하며, 시뮬레이션과 실제 데이터를 통해 지각과 응답 스타일 효과를 효과적으로 분리함으로써 순서형 데이터 분석의 해석 가능성과 신뢰도를 향상시킨다.

ABSTRACT

In responding to rating questions, an individual may give answers either according to his/her knowledge/awareness or to his/her level of indecision/uncertainty, typically driven by a response style. As ignoring this dual behaviour may lead to misleading results, we define a multivariate model for ordinal rating responses, by introducing, for every item, a binary latent variable that discriminates aware from uncertain responses. Some independence assumptions among latent and observable variables characterize the uncertain behaviour and make the model easier to interpret. Uncertain responses are modelled by specifying probability distributions that can depict different response styles characterizing the uncertain raters. A marginal parametrization allows a simple and direct interpretation of the parameters in terms of association among aware responses and their dependence on explanatory factors. The effectiveness of the proposed model is attested through an application to real data and supported by a Monte Carlo study.

연구 동기 및 목표

• 응답 스타일(불확실성, 무작위성, 극단/중간 카테고리 경향 등)이 순서형 평점 데이터에 미치는 혼동 효과를 해결하기 위해.
• 각 항목별로 이진 잠재 변수를 도입하여 지각된 응답과 불확실한 응답을 동시에 모델링함으로써 두 응답 행동를 구분하기 위해.
• 지각된 응답과 설명 변수에 대한 의존성 간의 경계 분포를 직접 추정함으로써 통계적으로 해석 가능한 모델을 제공하기 위해.
• 비모형 기반의 선별 방법에서 발생하는 데이터 정제 편향을 피하기 위해 불확실성 구성요소를 명시적으로 모델링함으로써 데이터 신뢰도를 향상시키기 위해.
• 응답 스타일 이질성을 체계적인 불확실성 구성요소를 통해 통합함으로써 IRT 및 잠재 클래스 모델의 모형 기반 유연한 대안을 제공하기 위해.

제안 방법

• 각 순서형 항목 $R_i$ 에 대해 이진 잠재 변수 $U_i$ 를 도입하며, $U_i=1$ 은 지각된 응답을, $U_i=0$ 은 불확실한 응답을 나타낸다.
• 항목 집합 $S$ 에서 $U_i=0$ 인 경우를 기반으로 $2^v$ 개의 잠재 클래스를 정의하며, 각 클래스 내에서 불확실한 항목 간 및 지각된 항목 간 조건부 독립을 가정한다.
• 직접적인 해석이 가능한 경계 파rametrization(Bergsma and Rudas, 2002)을 사용하여 지각된 응답과 불확실한 응답의 경계 분포를 직접 모델링함으로써 연관성과 효과의 해석이 간편해지도록 한다.
• 형태 매개수 $\phi$ 를 통해 다양한 응답 스타일(예: U자형, 종형)을 포괄하는 Reshaped Parabolic 분포(지역 및 전역 오즈 기반)를 사용하여 불확실한 응답을 모델링한다.
• 설계 행렬 $\mathbf{D}$ 가 완전한 열 질량을 가지는 조건 하에서 파라미터의 국소 식별성을 확보하고, 최대우도 추정의 타당성을 보장하는 계층적 구조를 사용하며, 각 층 $h=1,\dots,H$ 에서 설명 변수 효과를 선형 예측자 $\boldsymbol{\theta}_h = \mathbf{X}_h \boldsymbol{\beta}$ 를 통해 모델링하고, 링크 함수를 통해 확률 $\mathbf{q}_h = \mathbf{W} \boldsymbol{\theta}_h$ 로 변환한다.
• 피셔 정보 행렬을 유도하고, 설계 행렬 $\mathbf{D}$ 가 완전한 열 질량을 가진 경우 비특이성을 입증함으로써, 추정치의 점근 정규성과 타당한 추론을 보장한다.

실험 결과

연구 질문

• RQ1 어떻게 순서형 평점 응답을 모델링하여 진정한 지각과 응답 스타일에 기인한 불확실성을 분리할 수 있는가?
• RQ2 다양한 응답 스타일(예: 극단 경향, 중앙 집중 경향)이 순서형 설문 조사 데이터의 신뢰도에 어떤 영향을 미치는가?
• RQ3 잠재 불확실성 구성요소를 포함한 계층적 경계 모델이 응답과 설명 변수 간 연관성의 해석을 어떻게 향상시킬 수 있는가?
• RQ4 제안된 모델은 기존의 IRT 및 잠재 클래스 모델에 비해 불확실성과 응답 스타일 효과를 어떻게 더 잘 포착하는가?
• RQ5 기본 우도 추정 기반에서 모델의 파라미터들이 어떻게 행동하는가(예: 식별성, 점근 정규성)?

주요 결과

• HMMLU 모델은 지각된 응답과 불확실한 응답 구성요소를 성공적으로 분리하여, 지각된 응답과 공변수 간의 경계 연관성을 직접적으로 해석할 수 있도록 한다.
• 모델의 경계 파라미터라이제이션 덕분에 파라미터가 지각된 응답 간 연관성과 설명 변수에 대한 의존성으로 직접적으로 해석 가능하다.
• 피셔 정보 행렬이 유도되었으며, 설계 행렬 $\mathbf{D}$ 가 완전한 열 질량을 가진 경우 비특이성이 입증되어 추정치의 점근 정규성과 타당한 추론이 보장된다.
• Reshaped Parabolic 분포 가족은 다양한 응답 스타일을 효과적으로 모델링할 수 있다: $\phi < 0$ 일 때 U자형, $\phi > 0$ 일 때 종형, $\phi = 0$ 일 때 균일 분포.
• 몬테카를로 시뮬레이션과 실제 데이터 적용 결과, 모델이 불확실성 패턴을 효과적으로 포착하고 기존 모델 대비 더 나은 적합도를 보임을 확인하였다.
• 비모형 기반의 선별 방법보다 데이터 제거를 피하고 불확실성을 명시적으로 모델링함으로써, 신뢰할 수 없는 응답 패턴으로 인한 편향을 줄이는 데 성공하였다.