[논문 리뷰] Lightly-supervised Representation Learning with Global Interpretability

Marco A. Valenzuela-Escárcega, Ajay Nagesh외 1명|arXiv (Cornell University)|2018. 05. 29.

Topic Modeling참고 문헌 8인용 수 5

한 줄 요약

이 논문은 CoNLL-2003과 OntoNotes에서 최고 성능을 기록하면서도 클래스별 평균 임베딩에 가까운 거리에 따라 순서가 매겨진 패턴의 전역적으로 해석 가능한 결정 목록을 생성함으로써, 소수의 시드 예제를 사용하여 맞춤형 엔터티 및 패턴 임베딩을 공동으로 학습하는 경량 레이블링 접근법인 Emboot을 제안한다. 이는 반감성 신경망 목적함수를 통해 반복적으로 예측을 정교화하며, 전체 모델의 정확도를 유지하면서도 해석 가능성도 높인다.

ABSTRACT

We propose a lightly-supervised approach for information extraction, in particular named entity classification, which combines the benefits of traditional bootstrapping, i.e., use of limited annotations and interpretability of extraction patterns, with the robust learning approaches proposed in representation learning. Our algorithm iteratively learns custom embeddings for both the multi-word entities to be extracted and the patterns that match them from a few example entities per category. We demonstrate that this representation-based approach outperforms three other state-of-the-art bootstrapping approaches on two datasets: CoNLL-2003 and OntoNotes. Additionally, using these embeddings, our approach outputs a globally-interpretable model consisting of a decision list, by ranking patterns based on their proximity to the average entity embedding in a given class. We show that this interpretable model performs close to our complete bootstrapping model, proving that representation learning can be used to produce interpretable models with small loss in performance.

연구 동기 및 목표

• 각 카테고리당 소수의 레이블된 예제만으로도 감지 비용이 높은 감독형 NLP의 문제를 해결하기 위해 효과적인 정보 추출을 가능하게 한다.
• 표현 학습의 강건성과 패턴 기반 부트스트랩핑의 해석 가능성의 조합을 통해 밀도 임베딩의 투명하지 않은 성격을 극복한다.
• 개별 예측이 아닌 전체 추출 시스템을 설명할 수 있는 전역적으로 해석 가능한 모델을 개발하여 실생활 응용에서 유지보수성과 신뢰도를 높인다.
• 사용자 정의 임베딩이 해석 가능한 모델에서 사전 학습된 임베딩을 사용할 때보다 성능과 해석 가능성의 향상을 이룬다는 것을 입증한다.

제안 방법

• 이 방법은 반감성 학습 성분을 포함한 수정된 신경망 언어 모델(NNLM) 목적함수를 사용하여, 같은 클래스에 属하는 엔터티와 패턴을 끌어당기고, 다른 클래스에 속하는 것은 밀어내도록 한다.
• 다중어 엔터티와 n-gram 패턴(엔터티 주변 최대 4단어씩)에 대해 15차원의 맞춤형 임베딩을 동시에 학습하며, 초기값은 무작위로 설정하고 학습 중에 업데이트한다.
• 반복적인 부트스트랩 루프를 통해 각 에포크마다 클래스별로 예측의 신뢰도가 가장 높은 10개의 엔터티와 패턴을 추가하여 알려진 엔터티와 패턴의 집합을 확장하며, 임베딩 중심점에 가까운 거리 기반의 신뢰도 임계값을 사용한다.
• 최종 해석 가능한 모델은 결합된 결정 목록으로 구성되며, 각 패턴은 해당 클래스의 엔터티 평균 임베딩과의 코사인 유사도 기반으로 점수를 매긴다.
• 이 방법은 종속성 기반 단어 임베딩(300D)을 입력 특징으로 사용하고, 학습 중에 카테고리별 엔터티 군집화 여부를 검증하기 위해 t-SNE 시각화를 적용한다.
• 평가에서는 CoNLL-2003과 OntoNotes를 대상으로 하며, 클래스당 10개의 시드 엔터티, 20개의 부트스트랩 에포크, 각 에포크당 100개의 임베딩 학습 에포크를 설정한다.

실험 결과

연구 질문

• RQ1 경량 레이블링 표현 학습 접근법이 기존의 부트스트랩 방법보다 명명된 실체 분류에서 성능을 뛰어넘으면서도 해석 가능성은 유지할 수 있는가?
• RQ2 엔터티와 패턴 양쪽에 대해 사전 학습된 임베딩을 사용하는 것보다, 사용자 정의 임베딩을 학습하는 것이 성능과 해석 가능성에 기여하는가?
• RQ3 클래스 중심점에 가까운 거리 기반의 임베딩 유사도로 유도된 패턴의 전역적 해석 가능한 결정 목록이 전체 모델의 성능을 따라할 수 있는가?
• RQ4 임베딩 유사도 기반의 반복적 정교화 과정이 기존의 PMI 기반 또는 분류기 기반 엔터티 승격 방법과 비교해 어떻게 다를까?

주요 결과

• Emboot는 CoNLL-2003과 OntoNotes 데이터셋 양쪽에서 세 가지 최신 기술 부트스트랩 방법—EPB, Gupta 및 Manning(2014), 그리고 레이블 전파—를 모두 능가한다.
• 임베딩 유사도 기반 순서로 정렬된 패턴의 결정 목록을 사용하는 해석 가능한 Emboot 버전(Emboot int)은 전체 Emboot 모델에 비해 거의 동일한 성능을 기록하며, 해석 가능성의 손실가 없이도 높은 성능 유지를 확인했다.
• 사용자 정의 임베딩 기반의 해석 가능한 모델(Emboot int)은 사전 학습된 Levy 및 Goldberg 임베딩을 사용하는 해석 가능한 모델(EPB int)보다 유의미하게 뛰어난 성능을 보이며, 과제에 특화된 임베딩 학습의 중요성을 입증한다.
• CoNLL-2003에서 Emboot int의 59% 예측은 1~2개의 패턴에 의해 유도되며, 84%는 5개 이내의 패턴에 의해 발생하여 높은 희박성과 해석 가능성의 특성을 보였다.
• t-SNE 시각화 결과는 학습 과정에서 엔터티 임베딩이 카테고리별로 군집화됨을 확인하였으며, 이는 모델이 의미 있는, 클래스별로 특화된 표현을 학습할 수 있음을 검증한다.
• 단지 클래스당 10개의 시드 예제만을 사용함에도 불구하고 기준 모델 대비 일관된 성능 향상을 기록하여, 높은 샘플 효율성을 입증했다.