[논문 리뷰] Cardinal Virtues: Extracting Relation Cardinalities from Text

Paramita Mirza, Simon Razniewski외 2명|arXiv (Cornell University)|2017. 04. 14.

Topic Modeling참고 문헌 13인용 수 4

한 줄 요약

이 논문은 조건부 랜덤 필드(CRF)를 사용한 원거리 감독을 통해 텍스트에서 관계의 기수성(예: 한 사람의 자녀 수 또는 운동선수가 획득한 메달 수 등)을 추출하는 새로운 작업을 제안한다. 이 방법은 관계의 복잡성에 따라 정밀도가 3%에서 55% 사이로 달라지며, 언어적 다양성, 복합성, 지식 기반(KB) 학습 데이터의 불완전성 등의 과제를 해결한다.

ABSTRACT

Information extraction (IE) from text has largely focused on relations between individual entities, such as who has won which award. However, some facts are never fully mentioned, and no IE method has perfect recall. Thus, it is beneficial to also tap contents about the cardinalities of these relations, for example, how many awards someone has won. We introduce this novel problem of extracting cardinalities and discusses the specific challenges that set it apart from standard IE. We present a distant supervision method using conditional random fields. A preliminary evaluation results in precision between 3% and 55%, depending on the difficulty of relations.

연구 동기 및 목표

• 표준 정보 추출(IE) 방법이 간과하는 숫자적 카운트를 포착함으로써 지식 기반(KB)의 완전성과 정확성을 향상시키기 위해, 주제와 관련된 자녀 수나 메달 수와 같은 관계의 기수성을 추출하는 작업을 도입하고자 한다.
• 정보 추출(IE) 분야의 격차를 보완하고자, 표준 IE 방법이 간과하는 관계의 수치적 카운트를 추출하는 작업을 제안한다.
• 지식 기반(KB)의 불완전성, 다중 기수성 언급의 복합성, 숫자 표현의 언어적 다양성 등으로 인한 학습 데이터 품질 문제를 극복하고자 한다.
• 기수성 외에도 순서어, 否정문, 정량어(예: '쌍둥이', '유일한 자녀') 등을 기수성의 대체 척도로 다룰 수 있는 강건한 방법을 개발하고자 한다.
• 비정형 텍스트에서 '다수의 메달', '유일한 자녀' 등의 양적 추론이 가능한 시스템을 구현함으로써 지식 기반 유지보수 및 질의 응답 성능을 향상시키고자 한다.

제안 방법

• 기존 지식 기반(KB, 예: 위키데이터)의 삼중항 수를 약한 감독 신호로 활용하여 원거리 감독을 적용한다.
• 기수성 추출을 위해 숫자 표현의 순차적 패턴과 그 문법적 맥락을 모델링하기 위해 조건부 랜덤 필드(CRF)를 적용한다.
• 학습 데이터 품질 향상을 위해 필터링 전략을 구현한다. 예를 들어, KB의 불완전성 편향을 줄이기 위해 고인기도 엔티티만을 사용한다.
• 복합성 문제를 다루기 위해 다단계 접근법을 제안한다. 다중 기수성 숫자(예: 아들 + 딸)를 통합하고, 복합 규칙(예: 자녀 수 = 아들 수 + 딸 수)을 학습한다.
• 비숫자 표현(예: '쌍둥이', '유일한 자녀', '결혼한 적 없음')을 숫자 기수성으로 변환하는 언어적 변환 기법을 도입한다.
• 정확한 수가 기재되지 않은 경우 최소 기수성을 추정하기 위해 서수어 표현(예: '네 번째 자녀')에서 하한 추론을 수행한다.

실험 결과

연구 질문

• RQ1 지식 기반(KB)의 불완전성 또는 정확도 부족으로 인해 삼중항 수가 부정확할 경우, 원거리 감독을 통해 관계의 기수성을 신뢰성 있게 추출할 수 있는가?
• RQ2 서수어, 否정문, 또는 '쌍둥이'와 같은 정량어 표현 등 언어적 다양성이 기수성 추출 정확도에 어떤 영향을 미치는가?
• RQ3 다중 언급(예: '두 아들과 세 딸')을 합산하는 것과 같은 복합성 모델링이 기수성 추론 성능 향상에 얼마나 기여하는가?
• RQ4 고인기도 엔티티만을 포함하거나 원거리 감독에서 등식 제약 조건을 완화함으로써 학습 데이터 품질을 향상시킬 수 있는가?
• RQ5 비숫자 표현(예: '유일한 자녀' → '1명의 자녀')을 숫자 기수성으로 변환하는 언어적 변환 기법이 기수성 0과 1의 재현율 향상에 얼마나 효과적인가?

주요 결과

• CRF 기반 방법은 관계 기수성의 복잡성과 언어 표현 방식에 따라 정밀도가 3%에서 55% 사이로 변동한다.
• 수동 평가 결과, 위키데이터의 'hasChild' 관계에 대한 삼중항 수는 실제 텍스트에서 기재된 수치보다 46% 낮은 것으로 나타나, 지식 기반의 심각한 불완전성이 존재함을 시사한다.
• 고인기도 엔티티만 포함하는 방식으로 학습 데이터를 필터링하면 모델 성능이 크게 향상됨을 확인하여, 데이터 품질이 양보다 더 중요함을 입증한다.
• 자녀 기수성 추출에서 약 16%의 가짜 양성 결과는 복합적 언급(예: '두 아들과 한 명의 딸')을 처리하지 못한 데 기인하며, 이는 통합 기법의 필요성을 강조한다.
• 배우자 관계 기수성의 경우 약 4%만이 기수성 숫자로 표현되며, 대부분은 서수어(예: '첫 번째 아내')나 부정관사(예: '한 명의 아내')로 표현됨을 확인하여, 하한 추론이 필요함을 시사한다.
• 비숫자 표현(예: '쌍둥이' → '2', '결혼한 적 없음' → '0')을 숫자 기수성으로 변환하는 언어적 변환 기법은 기수성 0과 1의 재현율 향상에 유의미한 길을 열어주지만, 현재 설정에서는 완전히 평가되지 않은 상태이다.