[논문 리뷰] The Devil is the Classifier: Investigating Long Tail Relation Classification with Decoupling Analysis

Haiyang Yu, Ningyu Zhang외 4명|arXiv (Cornell University)|2020. 09. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 16인용 수 16

한 줄 요약

이 논문은 장수배경관계 분류 문제를 해결하기 위해 표현 학습에서 분리된 새로운 분류기인 Attentive Relation Routing (ARR)을 제안한다. 관계에 대해 동적으로 소프트 어텐션 가중치를 할당함으로써, ARR은 헤드 성능을 저하시키지 않은 채 테일 성능을 향상시켜 FewRel-LT (+5% 매크로 F1)와 TACRED (+3% 마이크로 F1)에서 최신 기술 수준(SOTA) 성능을 달성한다. 이는 장수배경관계 NLP 작업에서 분류기 설계가 표현 학습보다 더 중요하다는 것을 보여준다.

ABSTRACT

Long-tailed relation classification is a challenging problem as the head classes may dominate the training phase, thereby leading to the deterioration of the tail performance. Existing solutions usually address this issue via class-balancing strategies, e.g., data re-sampling and loss re-weighting, but all these methods adhere to the schema of entangling learning of the representation and classifier. In this study, we conduct an in-depth empirical investigation into the long-tailed problem and found that pre-trained models with instance-balanced sampling already capture the well-learned representations for all classes; moreover, it is possible to achieve better long-tailed classification ability at low cost by only adjusting the classifier. Inspired by this observation, we propose a robust classifier with attentive relation routing, which assigns soft weights by automatically aggregating the relations. Extensive experiments on two datasets demonstrate the effectiveness of our proposed approach. Code and datasets are available in https://github.com/zjunlp/deepke.

연구 동기 및 목표

• 장수배경관계 분류에서 표현 학습이냐 분류기 설계가 더 중요한가를 조사하기 위해.
• 표현 학습에서 분류기 학습을 분리하여 장수배경관계 성능의 메커니즘을 더 잘 이해하기 위해.
• 강력하고 적응형 분류기를 통해 헤드 성능을 떨어뜨리지 않으면서 테일 관계 분류 성능을 향상시키기 위해.
• 관계 간의 동적 어텐션 라우팅을 가능하게 하는 소프트 웨이팅 메커니즘을 개발하기 위해.

제안 방법

• 저자는 두 단계의 분리 분석을 수행한다: 먼저 인스턴스 균형 샘플링을 사용해 고정된 BERT 인코더를 훈련한 후, 다양한 분류기 학습 전략을 평가한다.
• 저자는 캡슐 네트워크의 동적 라우팅을 영감으로 삼아, 분류 과정에서 관계에 대해 어텐션 기반 가중치를 할당하는 소프트 웨이팅 메커니즘인 Attentive Relation Routing (ARR)을 제안한다.
• ARR는 어텐션을 통해 관계 표현을 집계하는 라우팅 메커니즘을 사용하여, 분류기가 정보가 풍부한 관계에 적응적으로 집중할 수 있도록 한다.
• 이 방법은 교차 엔트로피 손실을 사용해 엔드 투 엔드로 훈련되며, 라우팅 가중치는 역전파를 통해 업데이트되어 분별력을 향상시킨다.
• 이 접근법은 매크로 F1과 마이크로 F1을 지표로 사용하여 FewRel-LT(장수배경관계 분류의 변형)와 TACRED에서 평가된다.
• 저자는 재현 가능성과 향후 벤치마킹을 지원하기 위해 코드와 장수배경관계 분류 테스트베드를 공개한다.

실험 결과

연구 질문

• RQ1 장수배경관계 분류에서 표현 학습이냐 분류기 학습이 더 중요한가?
• RQ2 대체 표현 인코더를 재학습하지 않고도 잘 훈련된 분류기가 불균형 데이터를 보완할 수 있는가?
• RQ3 장수배경관계 설정에서 하드 웨이팅 또는 고정 분류기보다 소프트 웨이팅 메커니즘이나 어텐션 기반 라우팅이 더 우수한가?
• RQ4 분리된 분류기를 통해 헤드 성능을 해치지 않으면서 테일 성능을 향상시킬 수 있는가?

주요 결과

• 고정된 BERT 인코더를 사용할 때, 분류기 재가중치(예: RWL, FCL, DSL)와 재샘플링(예: PBS)이 성능을 크게 향상시켜, 분류기 설계가 표현 학습보다 더 큰 영향을 미친다는 것을 시사한다.
• 데이터 재샘플링과 손실 재가중치 방법은 테일 성능을 향상시키지만 헤드 성능을 떨어뜨려, 이전 접근법에서의 상충 관계를 보여준다.
• 제안된 Attentive Relation Routing (ARR)은 FewRel-LT에서 75.30의 매크로 F1과 TACRED에서 68.8의 마이크로 F1을 기록하여, BBN과 τ-norm를 포함한 모든 베이스라인을 초월한다.
• ARR는 헤드 성능을 떨어뜨리지 않으면서도 테일 F1을 향상시켜, 소프트 어텐션 라우팅이 모든 클래스에 걸쳐 분별력을 향상시킨다는 것을 입증한다.
• 제거 분석을 통해 ARR의 동적 라우팅 메커니즘이 장수배경관계 분포에서 헤드와 테일 성능을 균형 있게 유지하는 데 핵심적인 역할을 한다는 것이 확인되었다.