[논문 리뷰] BenchIE: Open Information Extraction Evaluation Based on Facts, Not Tokens.

Kiril Gashteovski, Mingying Yu외 4명|arXiv (Cornell University)|2021. 09. 14.

Natural Language Processing Techniques참고 문헌 24인용 수 10

한 줄 요약

BenchIE는 토큰 수준의 벤치마크에 한계가 있음을 보완하기 위해 사실 집합(fact synsets)—서로 의미적으로 동일한 추출 결과의 군집—를 사용하는 사실 기반 평가 프레임워크를 도입한다. 영어, 중국어, 독일어에서 평가된 BenchIE는 기존 벤치마크의 완전하지 않은 정답 기준으로 인해 최신 OIE 시스템의 성능이 이전에 보고된 것보다 훨씬 떨어지는 것으로 드러났다.

ABSTRACT

Intrinsic evaluations of OIE systems are carried out either manually -- with human evaluators judging the correctness of extractions -- or automatically, on standardized benchmarks. The latter, while much more cost-effective, is less reliable, primarily because of the incompleteness of the existing OIE benchmarks: the ground truth extractions do not include all acceptable variants of the same fact, leading to unreliable assessment of models' performance. Moreover, the existing OIE benchmarks are available for English only. In this work, we introduce BenchIE: a benchmark and evaluation framework for comprehensive evaluation of OIE systems for English, Chinese and German. In contrast to existing OIE benchmarks, BenchIE takes into account informational equivalence of extractions: our gold standard consists of fact synsets, clusters in which we exhaustively list all surface forms of the same fact. We benchmark several state-of-the-art OIE systems using BenchIE and demonstrate that these systems are significantly less effective than indicated by existing OIE benchmarks. We make BenchIE (data and evaluation code) publicly available.

연구 동기 및 목표

• 기존 OIE 벤치마크의 신뢰성 문제를 해결하기 위해, 완전하지 않은 정답 기준과 토큰 수준 평가의 문제점을 해결한다.
• 의미적 동일성인 추출 결과를 사실 집합(fact synsets)으로 묶음으로써 추출 결과의 정보적 동일성을 고려한 종합적인 평가 프레임워크를 개발한다.
• 영어를 넘어서 중국어와 독일어까지 포함하여 다국어 평가를 가능하게 하여 다국어 기반 벤치마크를 확장한다.
• 재현 가능하고 신뢰할 수 있는 OIE 시스템 평가를 지원하기 위해 공개 벤치마크와 평가 코드를 제공한다.

제안 방법

• 각 사실을 그 사실의 허용 가능한 표면 형태 전부를 포함하는 사실 집합으로 표현하는 정답 기준을 구축한다.
• 의미 일관성에 기반해 추출 결과 간 정보적 동일성을 정의함으로써, 동일한 사실의 모든 변형을 함께 묶는다.
• 개별 토큰이 아닌 정확한 사실 집합에 추출 결과가 매칭되는 방식으로 성능을 측정하는 평가 프로토콜을 설계한다.
• 영어, 중국어, 독일어 텍스트 간 사실 집합을 코딩하고 정렬하여 다국어 사용에 적합한 프레임워크를 구축한다.
• 토큰 겹침이 아닌 사실 집합 매칭 기반으로 정밀도, 재현율, F1 점수를 계산하는 평가 파이프라인을 구현한다.
• 표준화되고 신뢰할 수 있는 OIE 평가를 지원하기 위해 BenchIE를 공개 데이터셋과 코드베이스로 배포한다.

실험 결과

연구 질문

• RQ1 기존 OIE 벤치마크는 동일한 사실에 대해 허용 가능한 추출 결과의 전반적인 범위를 얼마나 잘 반영하지 못하는가?
• RQ2 토큰 기반 벤치마크와 비교할 때 사실 기반 벤치마크에서 최신 OIE 시스템의 성능이 얼마나 떨어지는가?
• RQ3 다국어 OIE 평가 프레임워크를 효과적으로 구성하여 다국어 간 비교를 가능하게 할 수 있는가?
• RQ4 평가에 정보적 동일성의 고려가 포함될 경우 OIE 시스템 평가의 신뢰성이 어떻게 향상되는가?
• RQ5 종합적이고 사실 중심의 벤치마크에서 현재 OIE 모델의 진정된 성능은 어떠한가?

주요 결과

• 최신 OIE 시스템은 기존 벤치마크에서 보고된 것보다 BenchIE에서 훨씬 떨어지는 성능을 보이며, 이는 이전 평가가 모델의 효과성을 과대평가했음을 시사한다.
• 기존 OIE 벤치마크는 동일한 사실에 대한 많은 유효한 표면 형태를 누락하고 있어 신뢰할 수 없는 성능 추정을 초래한다.
• BenchIE의 사실 집합은 토큰 수준의 정답 기준보다 더 넓고 정확한 추출 결과의 표현을 포괄한다.
• BenchIE의 다국어 설계 덕분에 영어, 중국어, 독일어 간 일관된 평가가 가능해져 다국어 분석을 지원한다.
• 벤치마크는 현재 OIE 시스템이 문법적 다양성과 의미적 동일성에 여전히 어려움을 겪고 있음을 드러내며, 동일한 사실이 여러 방식으로 표현되더라도 이를 잘 처리하지 못함을 보여준다.
• BenchIE의 사실 중심 평가 방식은 전통적인 토큰 기반 메트릭보다 더 신뢰성 있고 의미 있는 성능 비교를 가능하게 한다.