[논문 리뷰] Instance-Based Learning of Span Representations: A Case Study through Named Entity Recognition

Hiroki Ouchi, Jun Suzuki외 5명|arXiv (Cornell University)|2020. 04. 29.

Topic Modeling참고 문헌 46인용 수 4

한 줄 요약

이 논문은 이름 있는 실체 인식(NER)에서 스팬 표현을 위한 인스턴스 기반 학습 방법을 제안한다. 여기서 각 스팬은 가장 유사한 훈련 스팬들 기반으로 분류되며, 이는 매우 해석 가능한 예측을 가능하게 한다. 이 방법은 최신 분류기 기반 모델과 경쟁 가능한 성능을 달성하면서도, 최근접 이웃 검색을 통해 명확한 정당성을 제공함으로써 정확도를 희생시키지 않은 채 높은 해석 가능성을 입증한다.

ABSTRACT

Interpretable rationales for model predictions play a critical role in practical applications. In this study, we develop models possessing interpretable inference process for structured prediction. Specifically, we present a method of instance-based learning that learns similarities between spans. At inference time, each span is assigned a class label based on its similar spans in the training set, where it is easy to understand how much each training instance contributes to the predictions. Through empirical analysis on named entity recognition, we demonstrate that our method enables to build models that have high interpretability without sacrificing performance.

연구 동기 및 목표

• 구조적 예측 작업에서 스팬 표현을 위한 인스턴스 기반 학습을 활용하여 높은 해석 가능성을 갖춘 모델을 개발하기 위해.
• NER에서 신경망 모델의 투명하지 않은 성질을 해결하기 위해 유사성 기반 추론을 통해 인간이 이해할 수 있는 정당성을 제공하기 위해.
• BIO 태깅과 같은 토큰 기반 분류에서 흔히 발생하는 레이블 불일치 문제를 해결하기 위해 스팬 기반 분류를 사용함으로써.
• 분류기 기반 모델과 경쟁 가능한 성능를 유지하면서도 우수한 해석 가능성을 제공할 수 있는지 스팬 표현의 인스턴스 기반 학습을 평가하기 위해.
• NER를 넘어 다른 짧은 스팬 분류 작업으로의 일반화 가능성에 대해 조사하기 위해.

제안 방법

• 이 방법은 같은 레이블 라벨을 가진 스팬들이 특징 공간에서 가까이 위치하도록 학습하며, GloVe나 BERT와 같은 사전 훈련된 임베딩을 사용한다.
• 추론 시기에는 테스트 스팬이 훈련 세트 내에서 가장 가까운 k개의 이웃의 다수 클래스 기반으로 레이블이 할당되며, 스팬 표현 공간에서 코사인 유사도를 사용한다.
• 스패닝 표현은 문맥 기반 임베딩(BERT 등) 또는 정적 임베딩(GloVe 등)에서 유도되며, 풍부한 의미적 및 문법적 모델링을 가능하게 한다.
• 이 모델은 토큰 기반 분류에서 흔히 발생하는 레이블 불일치 문제를 해결하기 위해 개별 토큰이 아닌 전체 스팬을 단위로 분류함으로써 문제를 해결한다.
• 이 접근법은 스팬 기반 예측을 지원하여 중첩 및 겹치는 실체를 복잡한 디코딩 없이 자연스럽게 처리할 수 있다.
• 이 방법은 CoNLL-2003 및 CoNLL-2000 데이터셋에서 평가되었으며, 훈련 세트 크기의 영향 분석과 최근접 이웃의 정성적 분석을 포함한 추론 분석이 수행되었다.

실험 결과

연구 질문

• RQ1 스패닝 표현의 인스턴스 기반 학습이 NER에서 최신 분류기 기반 모델과 경쟁 가능한 성능를 달성할 수 있는가?
• RQ2 인스턴스 기반 방법이 기존 신경망 모델보다 더 해석 가능한 예측을 제공하는가? 이는 훈련 이웃 기반의 명확한 정당성에 기반하는가?
• RQ3 모델은 중첩 및 겹치는 실체 인식에서 어떻게 성능를 보이는가? 여기서 토큰 수준 레이블링은 종종 실패한다.
• RQ4 학습된 스팬 표현 공간은 NER를 넘어 다른 짧은 스팬 분류 작업으로 일반화될 수 있는가?
• RQ5 인스턴스 기반 모델의 실패 모드는 무엇이며, 이는 이웃 분석을 통해 진단될 수 있는가?

주요 결과

• 인스턴스 기반 스팬 모델은 GloVe를 사용해 CoNLL-2003에서 F1 점수 94.96 ± 0.06을 기록했으며, BERT를 사용하면 96.24 ± 0.04를 기록하여 분류기 기반 모델의 성능를 맞추거나 略로 초월하였다.
• 모델은 훈련 세트 크기의 변화에 대해 일관된 성능를 보였으며, 전체 훈련 데이터의 1/8 수준에서도 성능 저하가 거의 없었고, 이는 강력한 일반화 능력을 시사한다.
• 정성적 분석 결과, 인스턴스 기반 모델은 항상 의미적으로 유사한 실체(예: 'Tom Moody'에 대해 크리켓 선수)를 일관되게 검색한 반면, 분류기 기반 모델은 비엔티티이거나 의미적으로 일관되지 않은 스팬을 검색하였다.
• 오류 분석 결과, 모델은 종종 조직명(ORG)과 위치명(LOC)을 혼동하는 경향이 있었으며, 이는 최근접 이웃을 분석함으로써 진단 가능했고, 이는 정당성의 해석 가능성의 확인을 가능하게 하였다.
• 모델은 CoNLL-2000에서 문법적 쿼터링 작업으로도 잘 일반화되었으며, GloVe를 사용해 F1 점수 94.96 ± 0.06, BERT를 사용해 96.24 ± 0.04를 기록하여 경쟁력 있는 성능를 달성하였다. 이는 짧은 스팬 분류 작업으로의 광범위한 적용 가능성을 시사한다.
• 모델의 추론 과정은 본질적으로 해석 가능하다: 예측은 가장 유사한 훈련 스팬들에 의해 설명되며, 이로써 사용자는 각 레이블 할당의 정당성을 추적할 수 있다.