[논문 리뷰] Capturing Ambiguity in Crowdsourcing Frame Disambiguation

Anca Dumitrache, Lora Aroyo외 1명|arXiv (Cornell University)|2018. 05. 01.

Topic Modeling인용 수 13

한 줄 요약

이 논문은 FrameNet 프레임 해석 분류에서 다수의 코멘터가 문장을 각각 분석함으로써 상호 평가자 간 이견을 애매함의 신호로 포착하는 캐스트소싱 프레임워크를 제안한다. 수집된 다수의 캐스트소싱 평가 결과는 전문가 대비 F1 점수 >0.67를 기록했으며, 해결되지 않은 이견은 문장, 프레임 또는 작업 정의의 진정한 애매함을 반영함을 보여주어 기계학습 학습에 단일 정답 레이블을 강제하는 가정에 도전한다.

ABSTRACT

FrameNet is a computational linguistics resource composed of semantic frames, high-level concepts that represent the meanings of words. In this paper, we present an approach to gather frame disambiguation annotations in sentences using a crowdsourcing approach with multiple workers per sentence to capture inter-annotator disagreement. We perform an experiment over a set of 433 sentences annotated with frames from the FrameNet corpus, and show that the aggregated crowd annotations achieve an F1 score greater than 0.67 as compared to expert linguists. We highlight cases where the crowd annotation was correct even though the expert is in disagreement, arguing for the need to have multiple annotators per sentence. Most importantly, we examine cases in which crowd workers could not agree, and demonstrate that these cases exhibit ambiguity, either in the sentence, frame, or the task itself, and argue that collapsing such cases to a single, discrete truth value (i.e. correct or incorrect) is inappropriate, creating arbitrary targets for machine learning.

연구 동기 및 목표

• FrameNet의 단일 전문가 레이블링 방식이 언어적 다양성과 애매함을 포착하지 못하는 한계를 해결하기 위해.
• 캐스트소싱된 프레임 해석 분류에서의 상호 평가자 간 이견이 오류가 아니라 진정한 애매함을 반영하는지 조사하기 위해.
• 이견 기반으로 프레임-문장 일치도(FSS), 문장 품질(SQS), 프레임 품질(FQS)를 측정하는 새로운 지표를 개발하기 위해.
• 애매한 케이스를 단일 이산 레이블로 압축하는 관행이 기계학습에 악영향을 미치는지 도전하기 위해.
• 캐스트워커의 다수의 해석을 유지함으로써 더 견고하고 애매함을 고려한 데이터셋을 구축하기 위해.

제안 방법

• 다양한 해석을 확보하기 위해 문장당 15명의 작업자로 구성된 다수의 평가자로부터 데이터를 수집하기 위해 CrowdTruth 프레임워크를 활용하였다.
• 프레임-문장 일치도(FSS), 문장 품질 점수(SQS), 프레임 품질 점수(FQS)의 세 가지 새로운 지표를 정의하고 계산하여 일치도와 애매함을 평가하였다.
• 작업자별로 이진 레이블링(프레임이 적용되는지 여부)을 사용하였으며, 이견을 노이즈가 아닌 애매함의 대리 지표로 간주하였다.
• 공동의견 기반 방법을 사용해 캐스트소싱 평가 결과를 집계하여 문장당 하나의 레이블을 생성하였으며, 전문가가 레이블링한 기준 데이터와 비교하였다.
• 고도의 이견이 발생한 케이스에 대해 정성적 분석을 수행하여 작업 이해 부족, 맥락 누락, 본질적 의미적 애매함을 구분하였다.
• 기존의 캐스트소싱 프레임 해석 분류 연구를 재현하고 확장하였으며, 이견을 정보적인 신호로 명시적으로 모델링함으로써 이전 접근법을 향상시켰다.

실험 결과

연구 질문

• RQ1 다수의 평가자로부터의 캐스트소싱이 전문가 수준의 성능을 달성하는 데 신뢰성 있게 프레임 해석 분류를 포착할 수 있는가?
• RQ2 상호 평가자 간 이견이 평가 오류가 아니라 문장이나 프레임의 진정한 애매함을 반영하는 정도는 어느 정도인가?
• RQ3 프레임 정의와 문장 맥락은 프레임 해석 분류 작업에서의 애매함에 어떤 기여를 하는가?
• RQ4 애매한 케이스를 단일 이산 레이블로 압축하는 것이 기계학습에 문제가 되는가? 만약 그렇다면 그 이유는 무엇인가?
• RQ5 이견 지표(FSS, SQS, FQS)는 프레임 의미론에서 문장과 프레임 품질의 신뢰할 수 있는 지표로 기능할 수 있는가?

주요 결과

• 집계된 캐스트소싱 평가 결과는 전문가 언어학자와 비교했을 때 F1 점수가 0.67를 초과하여 최신 기법과 비교해도 뛰어난 성능을 보였다.
• 전문가가 서로 다른 의견을 가졌을 때조차도 캐스트소싱의 공동 의견이 올바른 경우가 있었으며, 이는 애매한 맥락에서 집단적 평가가 개인 전문가 판단을 뛰어넘을 수 있음을 시사한다.
• 상호 평가자 간 이견은 작업자 이해 부족 때문이 아니라 문장, 프레임 정의 또는 작업 구조의 애매함과 강하게 연관되어 있었다.
• 낮은 프레임 품질 점수(FQS)를 가진 프레임(예: 'assistance', 'purpose', 'undergo_change' 등 추상적 또는 겹치는 프레임)은 높은 이견을 보이며 더 높은 애매함을 나타내었다.
• 이 연구에서는 'killing'과 'food'와 같은 프레임은 높은 FQS를 보이며 더 적은 애매함을 보였으며, 이는 프레임의 구체성과 애매함 감소 사이에 상관관계가 있음을 시사한다.
• 결과적으로 애매한 케이스에 대해 단일 진리값을 강제하는 것은 기계학습에 인위적인 목표를 만들어 모델의 견고성과 공정성을 해칠 수 있다.