[논문 리뷰] Understanding the Impact of Text Highlighting in Crowdsourcing Tasks

Jorge Ramírez, Marcos Báez외 2명|arXiv (Cornell University)|2019. 09. 06.

Mobile Crowdsensing and Crowdsourcing인용 수 8

한 줄 요약

이 논문은 공동 작업 텍스트 분류에서 텍스트 강조 기능의 영향을 조사하며, 기계로 생성된 강조 기능이 정확도를 해치지 않으면서도 최대 44%까지 의사결정 시간을 단축시킬 수 있음을 제안한다. 이는 강조 품질이 높을 경우에만 성립한다. 연구는 낮은 품질의 강조 기능은 정확도를 떨어뜨리며, 여러 분류자로부터의 강조 기능을 융합하면 전체 성능이 향상됨을 발견하여, 텍스트 분류 작업에서 인간과 AI의 확장 가능한 효율적 협업을 위한 실용적인 길을 제시한다.

ABSTRACT

Text classification is one of the most common goals of machine learning (ML) projects, and also one of the most frequent human intelligence tasks in crowdsourcing platforms. ML has mixed success in such tasks depending on the nature of the problem, while crowd-based classification has proven to be surprisingly effective, but can be expensive. Recently, hybrid text classification algorithms, combining human computation and machine learning, have been proposed to improve accuracy and reduce costs. One way to do so is to have ML highlight or emphasize portions of text that it believes to be more relevant to the decision. Humans can then rely only on this text or read the entire text if the highlighted information is insufficient. In this paper, we investigate if and under what conditions highlighting selected parts of the text can (or cannot) improve classification cost and/or accuracy, and in general how it affects the process and outcome of the human intelligence tasks. We study this through a series of crowdsourcing experiments running over different datasets and with task designs imposing different cognitive demands. Our findings suggest that highlighting is effective in reducing classification effort but does not improve accuracy - and in fact, low-quality highlighting can decrease it.

연구 동기 및 목표

• 공동 작업 텍스트 분류 작업에서 텍스트 강조 기능이 비용과 정확도에 미치는 영향을 개선할 수 있는지, 그리고 어떤 조건에서 그러한 개선이 이루어지는지 조사하기.
• 성능 향상 또는 손상을 유발하는 강조 기능의 품질 기준을 규명하기.
• 여러 분류자나 알고리즘으로부터의 강조 기능 융합 방식이 분류 결과를 향상시키는 데 효과적인지 평가하기.
• 인지 부담, 문서 길이, 작업 난이도가 강조 기능의 영향에 미치는 영향를 이해하기.
• 향후 연구를 위한 공개 가능한 주석이 부여된 데이터셋을 제공하기.

제안 방법

• 다양한 문서 길이와 분류 난이도를 가진 세 가지 다채널 데이터셋을 대상으로 공동 작업 실험을 수행하였다.
• 작업자들이 강조 없이, 기계로 생성된 강조 기능이 있는, 또는 다수의 소스로부터 융합된 강조 기능이 있는 조건에서 텍스트를 분류하는 작업 유형을 설계하였다.
• 강조 품질을 필터링하기 위해 신뢰도 임계값을 사용하여 고품질, 저품질, 기준 조건을 비교하였다.
• 영향을 평가하기 위해 작업자로부터 의사결정 시간, 정확도, 작업 포기율, 인지적 노력 수준을 수집하였다.
• 다양한 인지 부담 조건 하에서 강조 기능이 의사결정 시간과 정확도에 미치는 영향을 측정하기 위해 회귀 분석을 적용하였다.
• 공동 작업에서 투표 융합 방식과 유사하게, 독립적인 분류자나 알고리즘의 출력을 융합하여 강조 기능 융합 효과를 평가하였다.

실험 결과

연구 질문

• RQ1 공동 작업 텍스트 분류 작업에서 텍스트 강조 기능이 정확도를 향상시키는가?
• RQ2 기계로 생성된 강조 기능의 품질이 작업자 정확도와 의사결정 시간에 어떤 영향을 미치는가?
• RQ3 여러 분류자나 알고리즘으로부터의 강조 기능 융합이 전체 분류 성능을 향상시킬 수 있는가?
• RQ4 강조 기능의 영향력이 작업 난이도, 문서 길이 또는 인지 부담에 따라 달라지는가?
• RQ5 강조 기능이 작업 포기율과 인지적 노력 수준에 어떤 영향을 미치는가?

주요 결과

• 고품질 강조 기능은 기준 조건 대비 의사결정 시간을 최대 44% 감소시켰으며, 세 데이터셋 중 두 개에서 유의미한 향상이 관찰되었다.
• 의사결정 시간을 단축시킨다고 해서 고품질 강조 기능이 기준 조건 대비 작업자 정확도를 유의미하게 향상시키지는 않았지만, 긍정적인 경향을 보였다.
• 저품질 강조 기능은 작업자 정확도를 일관되게 떨어뜨려, 열악한 강조 기능이 해로울 수 있음을 시사한다.
• 여러 독립적인 소스로부터의 강조 기능 융합은 개별 작업자 정확도가 그대로 유지된 상태에서도 전체 분류 성능을 향상시켰다.
• 특히 높은 인지 부담 조건에서 강조 기능이 효과적이었으며, 의사결정 시간을 16%에서 44% 감소시키고 작업 포기율도 낮췄다.
• 의사결정 시간에 미치는 강조 기능의 영향은 다양한 작업 난이도에서 일관되게 나타나, 이로 인한 이점이 쉬운 또는 어려운 작업에 국한되지 않음을 시사한다.