[논문 리뷰] Cicero: Multi-Turn, Contextual Argumentation for Accurate Crowdsourcing

Quan Ze Chen, Jonathan Bragg외 2명|arXiv (Cornell University)|2018. 10. 25.

Mobile Crowdsensing and Crowdsourcing참고 문헌 34인용 수 11

한 줄 요약

Cicero는 어려운 NLP 작업에서 높은 정확도를 달성하기 위해 실시간으로, 다중 라운드, 맥락 인지형의 논증 워크플로우를 제안한다. 이는 서로 반대되는 답변을 가진 커뮤니티 워커들을 짝지어 규칙 기반의 실시간 토론을 유도하며, 개인의 정확도를 크게 향상시킨다. 이는 한 번의 논증 방식 대비 16.7%포인트 향상시키며, Codenames와 같은 다중 답변 작업에서는 정확도를 66.7%에서 98.8%로 끌어올린다.

ABSTRACT

Traditional approaches for ensuring high quality crowdwork have failed to achieve high-accuracy on difficult problems. Aggregating redundant answers often fails on the hardest problems when the majority is confused. Argumentation has been shown to be effective in mitigating these drawbacks. However, existing argumentation systems only support limited interactions and show workers general justifications, not context-specific arguments targeted to their reasoning. This paper presents Cicero, a new workflow that improves crowd accuracy on difficult tasks by engaging workers in multi-turn, contextual discussions through real-time, synchronous argumentation. Our experiments show that compared to previous argumentation systems which only improve the average individual worker accuracy by 6.8 percentage points on the Relation Extraction domain, our workflow achieves 16.7 percentage point improvement. Furthermore, previous argumentation approaches don't apply to tasks with many possible answers; in contrast, Cicero works well in these cases, raising accuracy from 66.7% to 98.8% on the Codenames domain.

연구 동기 및 목표

• 어려운 복잡한 작업에서 전통적인 커뮤니티 워크와 한 번의 논증 방식의 한계를 해결하여 높은 정확도를 달성하는 것.
• 많은 가능한 답변이 존재하는 작업에 적용될 때 기존 논증 시스템의 확장성과 실용성 문제를 해결하는 것.
• 맥락에 특화된 다중 라운드 토론을 통해 오해를 수정하고 추론을 정교화함으로써 개인 워커의 정확도를 향상시키는 것.
• 작업 전용 지식을 넘어서 논증 기술을 훈련시켜 고품질의 집중적인 논의를 지원하는 시스템을 개발하는 것.
• 실시간 동기화 토론 워크플로우가 어려운 레이블링 작업에서 거의 완벽한 정확도를 달성하는 데 효과적임을 입증하는 것.

제안 방법

• 즉각 메시징을 모델로 한 실시간, 동기화 토론 인터페이스를 구현하여, 서로 다른 답변을 가진 워커들 간에 실시간으로 왔다 갔다 하는 논증을 가능하게 한다.
• 동일한 질문에 대해 서로 다른 응답을 한 워커들을 짝지어, 특정 추론 결함과 작업 규칙에 대한 생산적인 논의를 유도한다.
• 가교 지시사항과 새로운 정당화 훈련 과제를 도입하여 워커들이 맥락에 특화된 논증을 구성하고 평가하는 능력을 향상시킨다.
• 토론 중에 훈련된 규칙를 인용하고, 간과한 점을 식별하며, 오해를 수정할 수 있도록 허용하여 깊이 있는 추론과 정답에의 수렴을 촉진한다.
• 실시간 시스템(Cicero-Sync)을 사용해 제어된 고품질의 토론 전사본을 수집하여 분석 및 평가에 활용한다.
• 두 도메인에 대해 워크플로우를 적용한다: 관계 추출(이항 선택)과 수정된 Codenames 작업(다수의 가능한 답변), 기존의 한 번의 논증 시스템과의 비교를 가능하게 한다.

실험 결과

연구 질문

• RQ1 한 번의 논증 대비 다중 라운드, 맥락 인지형 논증이 어려운 NLP 레이블링 작업에서 개인 워커의 정확도를 크게 향상시킬 수 있는가?
• RQ2 사전에 수집된 반론이 비현실적인 많은 가능한 답변이 존재하는 작업에서 Cicero 워크플로우의 효과성은 어떠한가?
• RQ3 고품질의 다중 라운드 논증 세션에서 나타나는 담론 패턴은 무엇이며, 정확도 향상에 어떤 기여를 하는가?
• RQ4 논증 훈련과 시스템 설계가 커뮤니티 워커의 추론 품질과 정답에의 수렴 정도를 얼마나 향상시킬 수 있는가?
• RQ5 실시간 동기화 토론 워크플로우가 기존 방법이 실패하는 고위험 또는 복잡한 작업에서 거의 완벽한 정확도를 달성할 수 있는가?

주요 결과

• Cicero는 관계 추출 작업에서 개인 워커의 정확도를 16.7%포인트 향상시켰으며, 이는 MicroTalk의 6.8%포인트 향상보다 뚜렷이 뛰어나다.
• 다수의 가능한 답변이 존재하는 Codenames 도메인에서는 개인 정확도를 66.7%에서 98.8%로 끌어올려, 한 번의 논증 방식이 비현실적인 분야에서의 효과성을 입증한다.
• 기존의 다수결 및 EM 방법은 유사 작업에서 약 65%의 정확도로 정체되어 있어, Cicero의 논증 접근 방식의 열등성을 드러낸다.
• 토론 전사본의 정성적 분석을 통해 규칙 인용, 오류 식별, 오해 해결과 같은 반복적인 담론 패턴이 정확도 향상에 핵심적인 역할을 했다.
• 시스템의 성공은 워커의 논증 훈련에 의존했으며, 이는 추론 품질이 작업 지식뿐 아니라 논증 능력에 의존함을 시사한다.
• 동기화 토론은 더 깊이 있는 추론과 오류 수정을 가능하게 하였으며, 다중 라운드 교류는 한 번의 논증 시스템이 해결하지 못한 미묘한 오해까지도 해결하였다.