[논문 리뷰] Feature Engineering for Knowledge Base Construction.

Christopher Ré, Amir Abbas Sadeghian외 5명|arXiv (Cornell University)|2014. 01. 01.

Data Quality and Management참고 문헌 39인용 수 25

한 줄 요약

이 논문은 공동 확률적 추론과 학습을 사용하여 지식 기반 구축(KBC)을 위한 기능 엔지니어링 기반 접근법을 제안한다. 이는 고성능 지식 기반을 인간 전문가가 소요하는 시간보다 훨씬 적은 시간 내에 단 한 명의 대학원생이 효율적으로 구축할 수 있도록 한다. DeepDive 시스템은 알고리즘적 복잡성을 추상화하여 사용자가 기능 설계에 집중할 수 있도록 하며, 저자들이 말하는 바로는 이는 종단 간 시스템 품질에 있어 핵심이지만 아직 충분히 다루지 않은 요소이다.

ABSTRACT

Knowledge base construction (KBC) is the process of populating a knowledge base, i.e., a relational database together with inference rules, with information extracted from documents and structured sources. KBC blurs the distinction between two traditional database problems, information extraction and information integration. For the last several years, our group has been building knowledge bases with scientific collaborators. Using our approach, we have built knowledge bases that have comparable and sometimes better quality than those constructed by human volunteers. In contrast to these knowledge bases, which took experts a decade or more human years to construct, many of our projects are constructed by a single graduate student. Our approach to KBC is based on joint probabilistic inference and learning, but we do not see inference as either a panacea or a magic bullet: inference is a tool that allows us to be systematic in how we construct, debug, and improve the quality of such systems. In addition, inference allows us to construct these systems in a more loosely coupled way than traditional approaches. To support this idea, we have built the DeepDive system, which has the design goal of letting the user “think about features— not algorithms.” We think of DeepDive as declarative in that one specifies what they want but not how to get it. We describe our approach with a focus on feature engineering, which we argue is an understudied problem relative to its importance to end-to-end quality.

연구 동기 및 목표

• 종단 간 지식 기반 구축 품질에서 기능 엔지니어링의 부족한 평가를 다루기 위해.
• 기존 인간 중심의 커리에이션 방식에 비해 고성능 지식 기반을 구축하는 데 필요한 시간과 전문성 요구를 줄이기 위해.
• 공동 추론과 학습을 통해 체계적이고 느슨하게 결합된 KBC 시스템 개발을 가능하게 하기 위해.
• 알고리즘 설계에서 기능 사양으로의 초점을 이동시켜 유지보수성과 품질을 향상시키기 위해.
• 추론만이 아니라 기능 엔지니어링이 KBC에서 높은 성능을 달성하는 데 중심적인 역할을 한다는 것을 입증하기 위해.

제안 방법

• 이 접근법은 체계적으로 지식 기반을 구축하고 향상시키기 위해 공동 확률적 추론과 학습을 사용한다.
• DeepDive 시스템은 선언적 설계를 통해 사용자가 알고리즘을 상세히 기술하지 않고도 원하는 출력을 지정할 수 있도록 한다.
• 기능 엔지니어링을 시스템 동작과 품질 제어의 주요 수단으로 우선시한다.
• 시스템은 모듈 간의 강한 결합을 줄이기 위해 느슨하게 결합된 구성 요소 통합을 지원한다.
• 추론은 마법 같은 해결책이 아니라, 시스템 구성 요소의 디버깅, 향상, 검증을 위한 도구로 사용된다.
• 프레임워크는 저수준 알고리즘적 고려 사항을 추상화하여 개발자가 기능 설계에 집중할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 기능 엔지니어링을 어떻게 활용하여 지식 기반 구축 시스템의 품질을 향상시킬 수 있는가?
• RQ2 최소한의 인간 전문성과 시간으로 얼마나 높은 품질의 지식 기반을 구축할 수 있는가?
• RQ3 알고리즘보다 기능에 중점을 둔 선언적 시스템이 KBC에서 경쟁적인 성능을 달성할 수 있는가?
• RQ4 종단 간 KBC 품질에서 기능 엔지니어링은 추론과 학습만큼 중요한가?
• RQ5 체계적 추론은 확장 가능하고 유지보수 가능한 KBC 개발을 가능하게 하는 데 어떤 역할을 하는가?

주요 결과

• 제안된 기능 엔지니어링 접근법을 사용해 구축한 지식 기반은 인간 자원 봉사자들이 만든 것과 동일하거나 그 이상의 품질을 달성한다.
• 많은 프로젝트들이 단 한 명의 대학원생에 의해 완료되어, 수십 년에 걸친 전문가 작업에 비해 인간적 노력이 크게 감소했다.
• DeepDive 시스템은 알고리즘적 복잡성을 성공적으로 추상화하여 사용자가 기능에 집중할 수 있도록 한다.
• 공동 확률적 추론은 KBC 시스템의 체계적 개발, 디버깅, 향상에 기여한다.
• 기능 엔지니어링은 KBC에서 핵심이지만 아직 충분히 다루지 않은 구성 요소로 확인되었으며, 종단 간 시스템 품질에 상당한 영향을 미친다.
• 이 접근법은 느슨하게 결합된 아키텍처를 지원하여 지식 기반 구축 파이프라인의 유지보수성과 확장성 향상에 기여한다.