[논문 리뷰] Label-Agnostic Sequence Labeling by Copying Nearest Neighbors

Sam Wiseman, Karl Stratos|arXiv (Cornell University)|2019. 06. 10.

Topic Modeling참고 문헌 31인용 수 5

한 줄 요약

이 논문은 유사도 기반 검색 프레임워크 내에서 검색된 최근접 이웃의 토큰 수준 레이블을 복사하는 레이블에 종속되지 않는 시퀀스 레이블링 방법을 제안한다. 예측을 레이블 전용 표현에서 분리함으로써, 재학습 없이도 세분화된 레이블링 작업에 대해 강력한 제로샷 전이 성능를 달성하며, 동적 프ogramming 디코딩 전략은 서로 다른 복사 세그먼트 수를 최소화하여 정확도와 해석 가능성까지 향상시킨다.

ABSTRACT

Retrieve-and-edit based approaches to structured prediction, where structures associated with retrieved neighbors are edited to form new structures, have recently attracted increased interest. However, much recent work merely conditions on retrieved structures (e.g., in a sequence-to-sequence framework), rather than explicitly manipulating them. We show we can perform accurate sequence labeling by explicitly (and only) copying labels from retrieved neighbors. Moreover, because this copying is label-agnostic, we can achieve impressive performance when transferring to new sequence-labeling tasks without retraining. We additionally consider a dynamic programming approach to sequence labeling in the presence of retrieved neighbors, which allows for controlling the number of distinct (copied) segments used to form a prediction, and leads to both more interpretable and accurate predictions.

연구 동기 및 목표

• 전이 학습과 해석 가능성에서 레이블에 종속된 리트리브 앤 에디트 모델의 한계를 해결하기 위해.
• 레이블 유형에 관계없이 레이블링에 종속되지 않는 시퀀스 레이블링 접근법을 개발하여, 재학습 없이도 새로운 작업에 제로샷 전이를 가능하게 하기 위해.
• 검색된 이웃들로부터 복사된 세그먼트의 수를 제어함으로써 예측의 해석 가능성과 정확도를 향상시키기 위해.
• 직렬 생성에 의존하지 않고 오직 가장 가까운 이웃들로부터의 레이블 복사만을 사용하여 효과적인 시퀀스 레이블링을 가능하게 하기 위해.

제안 방법

• 모델은 BERT 기반 문장 임베딩과 같은 학습된 유사도 함수를 사용하여 학습 데이터베이스에서 M개의 가장 가까운 이웃을 검색한다.
• 각 입력 토큰에 대해, 모델은 검색된 이웃의 시퀀스 내에서 가장 유사한 토큰의 레이블을 복사하여 레이블을 예측한다.
• 예측이 입력 유사도에만 의존하고 레이블 유형이나 레이블 전용 파rameter에 의존하지 않기 때문에, 이 방법은 본질적으로 레이블에 종속되지 않는다.
• 복사 세그먼트의 수를 최소화하면서 예측 신뢰도를 균형 잡는 데 목적이 있는 동적 프로그래밍 디코딩 전략이 도입된다.
• 디코딩 목적함수는 하이퍼파라미터 c에 의해 가중된 세그먼트 수와 기대되는 잘못된 레이블링 비용을 조합하여, 압축되고 해석 가능한 예측을 장려한다.
• 이 방법은 테스트 시점에 이웃을 검색할 수 있는 임의의 모델에 적용 가능하며, 표준 시퀀스 레이블러에도 적용 가능하다.

실험 결과

연구 질문

• RQ1 레이블 전용 표현을 학습하지 않고도, 오직 가장 가까운 이웃들로부터의 레이블 복사만을 사용하여 경쟁력 있는 성능을 달성할 수 있는가?
• RQ2 표준 레이블에 종속된 모델에 비해, 이 레이블에 종속되지 않는 복사 전략은 새로운 레이블링 작업에 대해 제로샷 전이에서 어떻게 성능를 비교하는가?
• RQ3 동적 프로그래밍 디코딩 전략은 복사 세그먼트의 수를 줄여 정확도와 해석 가능성을 동시에 향상시킬 수 있는가?
• RQ4 세그먼트 수를 최소화하는 것이 시퀀스 레이블링에서 더 나은 일반화나 강건성로 이어지는가?
• RQ5 이 방법은 BERT와 같은 사전 학습된 표현을 활용하여 유사도 기반 검색에 효과적으로 활용할 수 있는가?

주요 결과

• 최적의 동적 프로그래밍 디코딩을 사용할 경우 CoNLL 2003 NER 테스트 세트에서 F1 점수가 90.20으로, 이를 사용하지 않을 경우 89.94에서 향상되었다.
• 제로샷 전이 설정에서, c=0.5일 때 동적 프로그래밍 디코딩을 사용하면 F1 점수가 71.74에서 73.61로 향상되었다.
• 재학습 없이도 표준 시퀀스 레이블링 작업에서 강력한 성능를 유지하며, 다른 작업에서 학습된 경우에도 CoNLL 2003에서 89.94 F1 점수를 기록했다.
• 평균적으로 예측은 각 예시당 약 1.5개의 서로 다른 복사 세그먼트만 사용하여 높은 압축성과 해석 가능성성을 보였다.
• 특히 굵은 레이블에서 세분화된 레이블링으로의 전이 시나리오에서 강력한 베이스라인을 크게 능가했다.
• 동적 프로그래밍 접근법은 높은 c 값일수록 더 나은 성능를 내는 예측 신뢰도와 세그먼트 수 사이의 제어 가능한 트레이드오프를 가능하게 했다.