[논문 리뷰] Comparison-Based Framework for Psychophysics: Lab versus Crowdsourcing

Siavash Haghiri, Patricia Rubisch외 3명|arXiv (Cornell University)|2019. 05. 17.

Mental Health Research Topics참고 문헌 31인용 수 8

한 줄 요약

이 논문은 삼중 비교 질문('X와 Y 중 어느 쪽이 더 유사한가: X와 Y 아니면 X와 Z?')을 사용한 비교 기반 심리물리학 프레임워크를 제안하며, 기계학습과 조합하여 인지적 유사도를 예측한다. 조건이 노이즈가 많고 통제되지 않은 상황임에도 불구하고, 아마존 메카니컬 터크를 통한 군중 데이터는 실험실 실험 수준의 삼중 비교 예측 정확도와 약 5% 이내로 일치했으며, 이는 비교 기반 방법이 강력한 학습 알고리즘과 결합될 경우 낮은 제어 수준의 환경에서도 신뢰할 수 있는 심리물리학 데이터를 도출할 수 있음을 보여준다.

ABSTRACT

Traditionally, psychophysical experiments are conducted by repeated measurements on a few well-trained participants under well-controlled conditions, often resulting in, if done properly, high quality data. In recent years, however, crowdsourcing platforms are becoming increasingly popular means of data collection, measuring many participants at the potential cost of obtaining data of worse quality. In this paper we study whether the use of comparison-based (ordinal) data, combined with machine learning algorithms, can boost the reliability of crowdsourcing studies for psychophysics, such that they can achieve performance close to a lab experiment. To this end, we compare three setups: simulations, a psychophysics lab experiment, and the same experiment on Amazon Mechanical Turk. All these experiments are conducted in a comparison-based setting where participants have to answer triplet questions of the form "is object x closer to y or to z?". We then use machine learning to solve the triplet prediction problem: given a subset of triplet questions with corresponding answers, we predict the answer to the remaining questions. Considering the limitations and noise on MTurk, we find that the accuracy of triplet prediction is surprisingly close---but not equal---to our lab study.

연구 동기 및 목표

• 비제어 조건 하에서도 삼중 비교를 사용한 비교 기반 심리물리학이 신뢰할 수 있는 결과를 도출할 수 있는지 조사하기 위해.
• 기계학습 모델이 일부 응답에서 비질문된 삼중 비교 답변을 정확하게 예측할 수 있는지 평가하기 위해.
• 예측 정확도 및 일관성 측면에서 실험실 실험(제어된 환경)과 메카니컬 터크를 통한 군중 모집(비제어 환경) 간의 삼중 비교 성능을 비교하기 위해.
• 여러 참가자의 응답을 통합하면 삼중 비교 예측 정확도가 향상되는지, 그리고 순서형 임bedding 기법이 의미 있는 인지적 구조를 드러내는지 평가하기 위해.

제안 방법

• 실험실 및 메카니컬 터크 환경에서 참가자들이 100개의 이미지 간의 인지적 유사도를 비교하는 무작위 삼중 비교 질문에 응답하였다. 이 이미지들은 다양한 매개변수(도달, 일관성, 입자 크기)로 생성되었다.
• 모든 삼중 비교 응답이 필요로 하는 O(n³) 수준의 응답 수를 줄이기 위해 부분 샘플링 전략을 적용하여 실용적인 데이터 수집을 가능하게 하였다.
• 기계학습 모델은 일부 삼중 비교 응답에서 비질문된 삼중 비교 답변을 예측하도록 훈련되었으며, 검증용 테스트 세트에서 평가되었다.
• 다양한 훈련 세트 크기와 참가자 풀(예: 여러 참가자 세션의 통합)에서 예측 정확도를 측정하였다.
• 순서형 임bedding 기법(예: t-STE)을 사용하여 삼중 비교 응답에서 유추된 인지적 유사도 공간을 2차원 유클리드 공간에 시각화하였다.
• 실험실과 메카니컬 터크 성능 간 통계적 비교를 수행하였으며, 실험실 및 메카니컬 터크 세션 간 교차 검증을 통해 인지적 일관성을 평가하였다.

실험 결과

연구 질문

• RQ1 삼중 비교 질문과 기계학습을 활용한 비교 기반 프레임워크가 제어되지 않은 군중 모집 환경에서도 신뢰할 수 있는 인지적 유사도 예측을 달성할 수 있는가?
• RQ2 메카니컬 터크에서의 삼중 비교 응답 예측 정확도는 잘 제어된 실험실 실험과 비교해 어떻게 다른가?
• RQ3 여러 참가자의 응답을 통합하면 삼중 비교 예측 모델의 정확도가 향상되는가?
• RQ4 순서형 임bedding 기법이 비교 기반 데이터에서 의미 있는 인지적 차원을 드러낼 수 있는가?
• RQ5 실험실 참가자와 군중 모집 참가자 간에 삼중 비교 응답에서 유추된 인지적 유사도 구조가 일관성 있는가?

주요 결과

• 아마존 메카니컬 터크에서의 삼중 비교 응답 예측 정확도는 제어된 실험실 환경에서의 성능과 약 5% 이내로 일치하여, 인지적 판단이 매우 일관됨을 시사한다.
• 네 개의 세션 데이터를 통합하면 예측 정확도가 약 5%포인트 향상되었지만, 추가로 더 많은 세션을 통합해도 추가적인 성능 향상이 없었으며, 이는 정보 수확의趋세에 도달했음을 시사한다.
• 실험실/메카니컬 터크 교차 검증 설정에서 두 환경의 참가자들이 이미지 유사도를 매우 일관되게 인식하고 있음을 확인했으며, 평균 정확도 격차는 매우 작았다.
• 박스 플롯 분석 결과, 메카니컬 터크 예측에서 특히 가장 어려운 관찰자들에 대해 변동성이 더 높았으며, 이는 군중 모집 데이터에 더 큰 노이즈가 있음을 시사한다.
• 삼중 비교 데이터의 순서형 임bedding 분석 결과, 인지적 공간의 한 축은 도달 매개변수와 강하게 상관되었고, 다른 축은 입자 크기 매개변수와 관련이 있었으며, 이는 추론된 공간 내에 의미 있는 구조가 존재함을 시사한다.
• 결과적으로 비교 기반 데이터 수집과 기계학습의 조합은 군중 모집 환경에서의 실험적 제어 부족을 효과적으로 상쇄할 수 있으며, 전통적인 실험실 기반 심리물리학의 타당한 대안이 될 수 있음을 시사한다.