[논문 리뷰] Making Efficient Use of a Domain Expert's Time in Relation Extraction

Linara Adilova, Sven Giesselbach외 1명|arXiv (Cornell University)|2018. 07. 12.

Topic Modeling참고 문헌 19인용 수 1

한 줄 요약

이 논문은 도메인 전문가를 데이터 레이블러가 아니라 모델의 해석자로 활용하는 액티브 러닝 프레임워크를 제안한다. 전문가는 대표적인 트리그램에 대한 피드백을 통해 관계 추출을 개선한다. 원시 데이터에 원거리 감독을 적용하여 사전 레이블링을 하고, 전문가의 통찰력을 활용해 과적합된 트리그램을 걸러내어 모델의 일반화 능력을 향상시킨다. 이는 명시적 엔티티에 과적합되는 것을 줄임으로써 10개의 관계 중 5개에서 더 나은 성능을 달성함으로써, 자원이 제한된 관계 추출 환경에서 전문가 시간을 더 효율적으로 활용할 수 있음을 보여준다.

ABSTRACT

Scarcity of labeled data is one of the most frequent problems faced in machine learning. This is particularly true in relation extraction in text mining, where large corpora of texts exists in many application domains, while labeling of text data requires an expert to invest much time to read the documents. Overall, state-of-the art models, like the convolutional neural network used in this paper, achieve great results when trained on large enough amounts of labeled data. However, from a practical point of view the question arises whether this is the most efficient approach when one takes the manual effort of the expert into account. In this paper, we report on an alternative approach where we first construct a relation extraction model using distant supervision, and only later make use of a domain expert to refine the results. Distant supervision provides a mean of labeling data given known relations in a knowledge base, but it suffers from noisy labeling. We introduce an active learning based extension, that allows our neural network to incorporate expert feedback and report on first results on a complex data set.

연구 동기 및 목표

• 직접적인 전문가 참여 없이 데이터 애너테이션에 대한 수동 작업을 최소화함으로써 관계 추출에서의 레이블링에 필요한 수작업을 줄이는 것.
• 도메인 전문가가 예제를 레이블링하는 대신 모델 예측을 해석하는 방식으로 더 효율적으로 기여할 수 있는 방법을 탐색하는 것.
• 대표적인 n-그램을 검토한 전문가의 시각으로 식별된 과적합된 트리그램을 걸러내어 모델의 일반화 능력을 향상시키는 것.
• 전문가가 트리그램 수준의 패턴에 피드백을 제공함으로써 자원이 제한된 전문화된 도메인에서 성능 향상 여부를 평가하는 것.
• 전문가 시간이 대규모 데이터 레이블링보다 모델 해석에 더 효과적으로 활용될 수 있음을 보여주는 것.

제안 방법

• 지식 기반을 활용해 원거리 감독을 적용하여 훈련 데이터를 자동으로 레이블링함으로써 수동 애너테이션의 필요성을 줄이는 것.
• 원거리 감독된 데이터를 기반으로 종단간 관계 추출을 위한 컨volutional 신경망(CNN)을 훈련하는 것.
• 학습된 문장 표현 기반으로 관계를 분류하기 위해 글로벌 맥스 풀링과 점수 계산을 위한 밀집층을 사용하는 것.
• 전문가가 과적합 또는 허위 패턴을 반영하는 트리그램을 검토하고 걸러내는 액티브 러닝 루프를 도입하는 것.
• 이름이 있는 엔티티(예: 사람, 조직명 등)에 과도하게 의존하는 예시를 제거하기 위해 트리그램 필터링을 적용하는 것.
• 전문가 기반 트리그램 필터링 전후의 모델 성능을 평가하여 정밀도, 재현도 및 과적합도에 미치는 영향을 분석하는 것.

실험 결과

연구 질문

• RQ1 도메인 전문가가 데이터를 레이블링하는 대신 모델의 동작을 해석함으로써 관계 추출에 더 효과적으로 기여할 수 있는가?
• RQ2 전문가가 트리그램 패턴에 피드백을 제공함으로써 자원이 제한된 환경에서 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?
• RQ3 원거리 감독만으로도 충분한 성능 향상이 이루어지지 않는 상황에서 과적합된 트리그램을 걸러내는 것이 얼마나 더 큰 성능 향상 효과를 낼 수 있는가?
• RQ4 어떤 관계 유형에서 전문가의 트리그램 검토가 가장 뚜렷한 성능 향상 효과를 낼 수 있는가?
• RQ5 원거리 감독과 전문가 피드백을 조합한 하이브리드 접근 방식이 노력 대비 성능 비율 측면에서 완전히 수동 또는 순수 무 supervision 방법보다 뛰어난가?

주요 결과

• 사람, 조직, 또는 위치명과 같은 명시적 엔티티에 과적합되는 트리그램을 걸러내어 10개의 관계 중 5개에서 과적합을 줄이고 일반화 능력을 향상시켰다.
• 'per:alternate-names' 및 'per:stateorprovince-of-residence'와 같은 관계에서는 의미 없는 트리그램을 제거함으로써 모델이 더 의미 있는 언어 패턴을 학습할 수 있게 되어 성능 향상이 이루어졌다.
• 'per:country-of-birth'의 경우, 필터링을 통해 'born in'과 같은 문장 구조를 학습할 수 있게 되어 특정 이름에 의존하는 것에서 벗어나 성능 향상을 이룬 바 있다.
• 'per:employee-of'의 경우, 필터링이 성능을 악화시켰다. 이는 모델이 기업명을 강력한 지표로 인식하는 능력을 상실했기 때문이다. 이는 필터링이 맥락에 민감하게 이루어져야 함을 보여준다.
• 전문가가 허위 트리그램을 식별하고 제거하는 역할이 수동 레이블링보다 더 효과적이었으며, 특히 훈련 및 테스트 세트에 모두 존재하는 엔티티에 대한 과적합을 줄이는 데 뛰어난 효과를 보였다.
• 본 연구는 전문가 시간이 대규모 데이터 레이블링보다 모델 해석 및 트리그램 수준 피드백에 더 효과적으로 활용될 수 있음을 입증하며, 고품질의 관계 추출을 위한 더 효율적인 길을 제시한다.