[논문 리뷰] Joint training for open-domain extraction on the web: exploiting overlap when supervision is limited

Rahul Gupta, Sunita Sarawagi|arXiv (Cornell University)|2011. 02. 09.

Topic Modeling참고 문헌 28인용 수 21

한 줄 요약

이 논문은 제한된 감독 하에 성능을 향상시키기 위해 다수의 웹 소스에서 개방형 추출 모델을 공동으로 훈련시키는 합의 기반 학습 프레임워크를 제안한다. 겹치는 텍스트 세그먼트를 활용하여, 효율적인 훈련을 위해 파artition링 전략을 사용함으로써, 모델들이 공유된 콘텐츠 영역에서 일치하는 예측을 하도록 유도한다. 이 방법은 별도로 훈련된 모델들에 비해 상당한 정확도 향상을 달성한다. 기존의 집단적 추론 및 다중 시각 학습과 같은 접근 방식보다도 성능이 뛰어나다.

ABSTRACT

We consider the problem of jointly training structured mod-els for extraction from multiple web sources whose records enjoy partial content overlap. This has important applica-tions in open-domain extraction, e.g. a user materializing a table of interest from multiple relevant unstructured sources; or a site like Freebase augmenting an incomplete relation by extracting more rows from web sources. Such applications require extraction over arbitrary domains, so one cannot use a pre-trained extractor or demand a huge labeled dataset. We propose to overcome this lack of supervision by using content overlap across the related web sources. Existing methods of exploiting overlap have been developed under settings that do not generalize easily to the scale and diver-sity of overlap seen on Web sources. We present an agreement-based learning framework that jointly trains the models by biasing them to agree on the agreement regions, i.e. shared text segments. We present alternatives within our framework to trade-off tractability, robustness to noise, and extent of agreement enforced; and propose a scheme of partitioning agreement regions that leads to efficient training while maximizing overall accuracy. Further, we present a principled scheme to discover low-noise agreement regions in unlabeled data across multiple sources. Through extensive experiments over 58 different extrac-tion domains, we establish that our framework provides sig-nificant boosts over uncoupled training, and scores over al-ternatives such as collective inference, staged training, and multi-view learning.

연구 동기 및 목표

• 다양한 레이블이 없는 웹 소스에서 부분적인 콘텐츠 겹침이 있는 상황에서 자원이 제한된 개방형 정보 추출 문제를 해결하기 위해.
• 실제 웹 데이터의 다양성에 비추어 확장성이나 일반화 능력이 떨어지는 기존 방법의 한계를 극복하기 위해.
• 광범위한 레이블 데이터가 필요하지 않은, 소스 간 겹침을 활용하는 공동 훈련 프레임워크를 개발하기 위해.
• 레이블이 없는 데이터에서 저노이즈 합의 영역을 발견하여 모델의 견고성과 훈련 효율성을 향상시키기 위해.
• 독립적 훈련, 집단적 추론, 단계적 훈련, 다중 시각 학습에 비해 더 높은 추출 정확도를 달성하기 위해.

제안 방법

• 프레임워크는 여러 추출 모델이 소스 간 공유되는 텍스트 세그먼트에서 일관된 예측을 하도록 유도하는 합의 기반 학습 접근 방식을 사용한다.
• 훈련 효율성과 성능를 균형 잡기 위해 합의 영역에 대한 파artition링 전략을 도입하여 확장 가능한 공동 최적화를 가능하게 한다.
• 처리 가능성, 노이즈에 대한 견고성, 모델 간 강제 합의의 범위 사이의 유연한 트레이드오프를 구성 가능한 방식으로 포함한다.
• 노이즈가 많은 감독에 의존도를 줄이기 위해, 레이블이 없는 데이터에서 저노이즈 합의 영역을 자동으로 식별하는 원칙적인 기법을 제안한다.
• 사전 훈련된 추출기나 대규모 레이블 데이터셋이 필요 없이 모델의 공동 훈련을 지원한다.
• 다양한 도메인에 걸쳐 일반화를 유지하면서도 겹치는 콘텐츠에서 최대한의 합의를 이끌어내는 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 레이블이 제한된 상황에서, 다수의 겹치는 웹 소스를 통해 추출 모델의 공동 훈련이 성능 향상에 상당한 기여를 할 수 있는가?
• RQ2 레이블이 없는 다양한 웹 데이터에서 합의 영역를 효과적으로 발견하고 공동 훈련을 이끄는 데 어떻게 활용할 수 있는가?
• RQ3 공동 추출에서 훈련 효율성, 노이즈에 대한 견고성, 합의 강제화 사이의 상호 간의 트레이드오프는 어떠한가?
• RQ4 집단적 추론, 단계적 훈련, 다중 시각 학습과 비교했을 때, 제안된 프레임워크는 정확도와 확장성 면에서 어떤가?
• RQ5 개방형 추출에서 대규모 레이블 데이터셋에 대한 의존도를 줄이기 위해 소스 간 겹침을 얼마나 효과적으로 활용할 수 있는가?

주요 결과

• 제안된 프레임워크는 58개의 다른 추출 도메인에서 독립적 훈련에 비해 상당한 정확도 향상을 달성한다.
• 집단적 추론, 단계적 훈련, 다중 시각 학습과 같은 대안적 방법들보다 정확도와 견고성 면에서 뛰어나다.
• 소스 간 콘텐츠 겹침을 활용함으로써, 제한된 감독 하에서도 효과적인 공동 훈련이 가능하다.
• 합의 영역의 파artition링 전략은 전체 추출 정확도를 극대화하면서도 효율적인 훈련을 가능하게 한다.
• 레이블이 없는 데이터에서 저노이즈 합의 영역를 식별하는 기법은 모델 성능을 향상시키고 노이즈 있는 애너테이션에 대한 민감도를 감소시킨다.
• 사전 훈련된 모델이나 대규모 레이블 데이터셋이 필요 없이도, 다양한 실제 웹 소스에 대해 강력한 일반화 능력을 보여준다.