[논문 리뷰] Exposing ambiguities in a relation-extraction gold standard with crowdsourcing

Tong Shu Li, Benjamin M. Good외 1명|arXiv (Cornell University)|2015. 05. 23.

Biomedical Text Mining and Ontologies참고 문헌 12인용 수 4

한 줄 요약

이 논문은 생물의학 텍스트에서 약물-질병 관계 추출을 위한 골드 표준을 생성하기 위해 군중 평가 방식을 제안하며, 군중 평가가 60개의 테스트 문장에서 전문가 주석과 71.7%의 일치도를 보임을 입증한다. 이는 전문가와 군중 간의 이면자 주석 일치도 수준이 데이터 또는 지침의 모호성 여부를 반복 가능한 지표로 제공함을 보여주며, 군중 평가의 타당성을 강화하고 골드 표준에 일치도 지표를 노출시킬 필요성을 부각시킨다.

ABSTRACT

Semantic relation extraction is one of the frontiers of biomedical natural language processing research. Gold standards are key tools for advancing this research. It is challenging to generate these standards because of the high cost of expert time and the difficulty in establishing agreement between annotators. We implemented and evaluated a microtask crowdsourcing approach that can produce a gold standard for extracting drug-disease relations. The aggregated crowd judgment agreed with expert annotations from a pre-existing corpus on 43 of 60 sentences tested. The levels of crowd agreement varied in a similar manner to the levels of agreement among the original expert annotators. This work rein-forces the power of crowdsourcing in the process of assembling gold standards for relation extraction. Further, it high-lights the importance of exposing the levels of agreement between human annotators, expert or crowd, in gold standard corpora as these are reproducible signals indicating ambiguities in the data or in the annotation guidelines.

연구 동기 및 목표

• 군중 평가를 활용해 생물의학 관계 추출 분야에서 고품질 골드 표준을 생성하는 것이 가능한지 평가하는 것.
• 기존 코퍼스에서 군중 평가 결과가 전문가 주석과 얼마나 잘 일치하는지 평가하는 것.
• 전문가와 군중 간의 이면자 주석 일치도 수준이 데이터 또는 주석 지침의 모호성 여부를 어떻게 반영하는지 조사하는 것.
• 골드 표준 코퍼스에서 일치도 점수가 모호성의 반복 가능한 지표로 기능할 수 있음을 입증하는 것.

제안 방법

• 60개의 생물의학 문장에서 약물-질병 관계의 유무를 판단하는 이진 주석을 수집하기 위해 마이크로태스크 기반 군중 평가 플랫폼을 설계하였다.
• 군중 작업자들이 문장을 독립적으로 주석 처리하였으며, 각 문장은 다수의 주석자에 의해 처리되어 신뢰도를 확보하였다.
• 집계된 군중 주석 결과를 기존 골드 표준 코퍼스의 전문가 주석과 비교하였다.
• 전문가 및 군중 주석자 간의 일관성을 측정하기 위해 Fleiss의 카파를 사용하여 이면자 주석 일치도를 측정하였다.
• 문장 간 일치도 패턴을 분석하여 공감도가 낮은 문장을 특정하여, 이는 모호성을 시사하는 것으로 간주하였다.
• 60개의 별도 테스트 셋에 대해 군중 성능을 전문가 주석과 비교하여 결과를 검증하였다.

실험 결과

연구 질문

• RQ1 군중 평가는 생물의학 텍스트에서 약물-질병 관계 추출을 위한 신뢰할 수 있는 골드 표준을 생성할 수 있는가?
• RQ2 동일한 문장 세트에서 군중 주석자들의 일치도 수준은 전문가 주석자들과 비교해 어떻게 되는가?
• RQ3 주석자 간 일치도가 낮은 수준은 데이터 또는 주석 지침의 진정된 모호성을 얼마나 잘 반영하는가?
• RQ4 이면자 주석 일치도는 골드 표준 코퍼스에서 모호성의 반복 가능한 신호로 기능할 수 있는가?
• RQ5 일치도 지표를 공개함으로써 골드 표준 데이터셋의 투명성과 유용성이 향상되는가?

주요 결과

• 집계된 군중 주석 결과는 60개의 테스트 문장에서 전문가 주석과 71.7%의 일치도를 보였으며, 전문가 수준의 주석과의 강력한 일치를 시사한다.
• 군중 주석자 간 일치도 수준은 원래 전문가 주석자 간 관찰된 일치도 수준과 매우 유사하게 나타났다.
• 전문가 또는 군중 간 이면자 주석 일치도가 낮은 문장들은 일반적으로 어术적으로 모호하거나 의미 관계가 명확하지 않은 표현을 포함하고 있었다.
• 연구는 군중 평가가 생물의학 NLP 분야에서 골드 표준을 생성하는 데 실현 가능하고 비용 효율적인 방법임을 확인한다.
• 일치도 점수를 공개함으로써 모호성에 대한 투명하고 반복 가능한 신호를 제공할 수 있으며, 이는 연구자들이 데이터 내에서 문제적 또는 모호한 예제를 식별하는 데 도움이 된다.
• 결과는 골드 표준 코퍼스에 일치도 지표를 포함시켜 모델 개발 및 평가에 안내할 수 있음을 강조한다.