[논문 리뷰] Real-time On-Demand Crowd-powered Entity Extraction

Ting-Hao Huang, Yun-Nung Chen외 1명|arXiv (Cornell University)|2017. 04. 12.

Mobile Crowdsensing and Crowdsourcing참고 문헌 26인용 수 3

한 줄 요약

이 논문은 레이블링된 학습 데이터가 필요 없이 사용자 발화에서 엔티티를 추출하기 위해 다중 플레이어 대화 ESP 게임을 활용한 실시간, 커뮤니티 기반 엔티티 추출 시스템을 제안한다. 커뮤니티 워커 간의 공감대를 활용함으로써 복잡한 질의에서 CRF 기준선 대비 F1 점수를 각각 36.5% 및 27.1% 향상시키며, 약 8초의 반응 시간을 기록하여 구글 하ング아웃과 같은 실시간 대화 시스템에서의 구현 가능성을 입증한다.

ABSTRACT

Output-agreement mechanisms such as ESP Game have been widely used in human computation to obtain reliable human-generated labels. In this paper, we argue that a "time-limited" output-agreement mechanism can be used to create a fast and robust crowd-powered component in interactive systems, particularly dialogue systems, to extract key information from user utterances on the fly. Our experiments on Amazon Mechanical Turk using the Airline Travel Information System (ATIS) dataset showed that the proposed approach achieves high-quality results with an average response time shorter than 9 seconds.

연구 동기 및 목표

• 데이터 부족, 언어 다양성, 사전에 없는 단어(Out-of-vocabulary) 엔티티 등으로 인해 자동 엔티티 추출이 취약해지는 대화 시스템 문제를 해결하기 위해.
• 레이블링된 학습 데이터가 필요 없는 실시간, 온디맨드 엔티티 추출 방법을 개발하기 위해.
• 실시간 즉각 메시징 환경에서 커뮤니티 기반 엔티티 추출의 구현 가능성과 성능을 평가하기 위해.
• 실시간 커뮤니티 기반 추출에서 반응 시간과 추출 정확도 간의 상호 상충 관계를 탐색하기 위해.
• 사전에 보지 못한 또는 복잡한 질의에 대해서도 워커 간 공감대를 통해 엔티티를 신뢰성 있게 추출할 수 있음을 입증하기 위해.

제안 방법

• 워커들이 대화 발화를 보여주고 일정 시간 내에 특정 엔티티를 식별하도록 요청하는 다중 플레이어 대화 ESP 게임 인터페이스를 사용한다.
• 워커들의 응답을 집계하고, 다수의 워커 간 일치하는 결과를 기반으로 최종 추출된 엔티티를 결정함으로써 공감대를 통해 품질을 확보한다.
• 인터페이스에 타이머를 도입하여 속도를 강제로 유도하고, 실시간 배포를 위해 지연 시간을 최소화하도록 설계되어 있다.
• 시스템은 ATIS 데이터셋과 10명의 사용자가 참여한 실시간 구글 하ング아웃 텍스트 채팅을 통해 실세계 성능을 테스트한다.
• MTurk에서의 작업 라우팅 지연이 종합 반응 시간에 영향을 주는 주요 병목 현상임을 확인하였다.
• 향후 자동화된 구성 요소를 통합하여 확장성 향상과 인간 노동 의존도 감소를 가능하게 하기 위해 설계되었다.

실험 결과

연구 질문

• RQ1 대화 ESP 게임을 통한 실시간 커뮤니티 기반 추출이 레이블링된 학습 데이터 없이도 정확한 엔티티 추출을 달성할 수 있는가?
• RQ2 커뮤니티 기반 시스템의 반응 시간은 자동화된 기준선 대비 어떻게 다를지, 실시간 대화 애플리케이션에 적합한가?
• RQ3 공감대 기반 접근 방식이 사전에 없는 단어나 언어적으로 다양성이 있는 입력에 대해 얼마나 견고한가?
• RQ4 작업 라우팅 지연이 종합 시스템 성능에 어떤 영향을 미치며, 이를 어떻게 완화할 수 있는가?
• RQ5 커뮤니티 기반 응답은 자동화된 엔티티 추출 모델을 구동하기 위해 효과적으로 활용될 수 있는가?

주요 결과

• ATIS 데이터셋에서 Class D 질의에 대해 커뮤니티 기반 방법이 CRF 기준선 대비 F1 점수를 36.5% 향상시켰다.
• Class X 질의에 대해 이 방법은 CRF 기준선 대비 F1 점수를 27.1% 향상시켰다.
• 평균 종합 반응 시간은 약 8초였으며, 첫 번째 일치 응답은 작업 시작 후 40.95초에 도착했다.
• 실시간 메시징 환경에서 사용자가 경험할 수 있는 이론적 반응 시간은 10~14초로 추정되었으며, 이는 실세계 메시징의 평균 24초 반응 시간보다 빠르다.
• MTurk에서의 작업 라우팅 지연이 주요 병목으로 확인되었으며, 이는 5초에서 40초의 범위를 차지했고 일부 경우 작업 기한 만료를 유발했다.
• 10명의 사용자가 참여한 구글 하ング아웃 텍스트 채팅을 통한 실세계 구현에서 시스템의 구현 가능성과 견고성, 저지연 성능을 확인하였다.